知財求人 - 知財ポータルサイト「IP Force」
▶ コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-01
(45)【発行日】2024-05-13
(54)【発明の名称】車両の三次元画像再構成方法
(51)【国際特許分類】
G06T 7/564 20170101AFI20240502BHJP
G06T 7/00 20170101ALI20240502BHJP
【ＦＩ】
G06T7/564
G06T7/00 650B
【請求項の数】
7
(21)【出願番号】P 2019131614
(22)【出願日】2019-07-17
(65)【公開番号】P2020013573
(43)【公開日】2020-01-23
【審査請求日】2022-05-27
(31)【優先権主張番号】10 2018 212 049.8
(32)【優先日】2018-07-19
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】503355292
【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ
【住所又は居所原語表記】Ｒｉｎｇｌｅｒｓｔｒａｓｓｅ １７， ８５０５７ Ｉｎｇｏｌｓｔａｄｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(72)【発明者】
【氏名】ミシェール・カルク
(72)【発明者】
【氏名】オルガ・プロコフィエファ
(72)【発明者】
【氏名】クリスティアン・シャルフェンベルガー
(72)【発明者】
【氏名】ローベルト・ティール
【審査官】小池 正彦
(56)【参考文献】
【文献】米国特許出願公開第２０１４／０１５２８２７（ＵＳ，Ａ１）
【文献】米国特許第０９９５３４３７（ＵＳ，Ｂ１）
【文献】中国特許出願公開第１０７０６７７５５（ＣＮ，Ａ）
【文献】H.Schneiderman et al，A Statistical Method for 3D Object Detection Applied to Faces and Cars，Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2000(Cat. No.PR00662)，米国，IEEE，2020年06月15日，DOI: 10.1109/CVPR.2000.855895
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／５６４
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
車両（６００）の三次元画像再構成方法において、－カメラ（５０１）を用いて、少なくとも１つの車両の画像を撮影するステップ（４０１）と、
－第１矩形を得る（２０３）ために、前記画像上の前記車両全体の第１矩形エッジを認識するステップ（４０２）と、
－第２矩形を得る（２０２）ために、前記画像上の、車両（６００）のサイドの第２矩形エッジを認識するステップ（４０３）と、
－前記第１矩形と前記第２矩形が、前記車両に関するエッジであるかどうかを決定するステップ（４０４）と、
－前記第１矩形と前記第２矩形が、前記車両に関するエッジである場合、両方の前記矩形から前記車両（６００）のサイド方向を割り当てることができるかどうかを決定するステップ（４０５）と、
－サイド方向を割り当てることができる場合、前記サイド方向を決定するステップ（４０６）と、
－前記カメラ（５０１）の視野からみて後方領域または前方領域を、前記前方領域または前記後方領域を投影することにより決定し、前記投影の調整は前記サイド方向を考慮して行われ、前記前方領域または前記後方領域の角を前記後方領域または前記前方領域の角と結合することによりサイド領域を決定することで前記車両の三次元再構成を実施するステップ（４０７）と、を備える方法。
【請求項2】
前記第１矩形（２０３）と前記第２矩形（２０２）が、前記車両（６００）に関するエッジであるかどうかを決定することは、前記第１矩形（２０３）および前記第２矩形（２０２）の共通領域（２０１）の、前記第２矩形の領域（２０４）に対する比率を示す第１値であって、前記第１値が第１閾値を超える場合、前記第１矩形と前記第２矩形が前記車両に関するエッジとして決定される、第１値を算出することを含む、請求項１に記載の方法。
【請求項3】
両方の前記矩形（２０２、２０３）から前記車両のサイドを割り当てることができるかどうかを決定することは、前記第１矩形および前記第２矩形の共通領域（３０１）の、前記第１矩形（３０２）および前記第２矩形（３０２）の合計（３０４）に対する比率を示す第２値であって、前記第２値が第２閾値を下回る場合にサイド方向が決定可能とみなされる、第２値を算出することを含む、請求項１または２に記載の方法。
【請求項4】
前記後方領域または前記前方領域を決定することは、前記前方領域または前記後方領域の下方角の隣接する直線の前記前方領域または前記後方領域の下方エッジと、前記後方領域または前記前方領域の対応する角との間の角度を決定することを含む、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記後方領域または前記前方領域を決定することは、前記後方領域または前記前方領域の高さを算出することを含み、前記高さは、一方では、前記カメラ（５０１）の焦点距離の、前記第１矩形または前記第２矩形の側方矩形エッジの長さに対する比率と、他方では、前記カメラ（５０１）の前記車両（６００）との距離と前記車両（６００）の評価された実際の前方高さまたは評価された実際の後方高さとの比率が、同じであることに基づいて算出される、請求項１～４のいずれか１項に記載の方法。
【請求項6】
車両（６００）の三次元画像再構成システム（５００）において、－少なくとも１つの車両に関する画像を撮影するカメラ（５０１）と、
－請求項１～５のいずれか１項に記載の方法を実施する演算ユニット（５０２）と、を備えるシステム（５００）。
【請求項7】
請求項６に記載のシステム（５００）を備える車両（６００）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の三次元画像再構成方法に関する。また、本発明は、その方法を実施するシステムおよび車両に関する。
【背景技術】
【0002】
自動運転や運転支援システムの領域における重要な一面は、道路交通場面を認識することである。この前提となるのが、車両内または車両上のカメラにより撮影される画像において車両を認識することである。
【0003】
道路交通場面においてカメラデータに基づいて車両を認識する際に、一般には、いわゆるバウンディングボックス、つまりオブジェクトを取り囲む矩形の三次元検知が用いられる。さらに、画素を精確に、車両を検出する手法が存在する。しかし、道路場面を完全に認識するためには、三次元構成が必要である。
【0004】
したがって、最近の手法は、オブジェクトのそのような３Ｄ構成を認識することに取り組んでいる。これには、ＬＩＤＡＲ（光検出と測距）などの他のセンサに基づく手法、または１より大きい数のカメラの使用に基づく手法も含まれる。
【0005】
画像データから三次元構成を評価する手法は、例えば、いわゆる「ＤｅｅｐＭａｎｔａ」の手法により、例えば、画像上のタイヤ、窓ガラスなどといった、精確な３Ｄ構成をアノテーションするための、データの相当な追加のアノテーションコストが必要である。
【0006】
バウンディングボックスを用いた簡単で迅速な手法は、１つのみの２Ｄバウンディングボックスや、車両が非傾斜面上にある、いわゆる「グラウンドプレーン推定」に基づくか、または相異なるサイドビューの複数のバウンディングボックスに基づくか、のどちらかである。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の課題は、自動運転または運転支援システムの領域において、三次元オブジェクトを簡単かつ効率的に認識することを提供することにある。
【課題を解決するための手段】
【0008】
課題は、独立請求項の主題により解決される。好ましい実施形態が従属請求項、下記の記載および図面の対象である。
【0009】
本発明は、個別のカメラおよびそのカメラの個別の撮影／画像の使用に基づいて、車両の三次元構成を再構成することに関する。ステレオ手法またはＬＩＤＡＲセンサを用いるのとは対照的に、この手法はコスト効率がよい。
【0010】
第１態様によると、車両の三次元画像再構成方法において、
－カメラを用いて、少なくとも１つの車両の画像を撮影するステップと、
－第１矩形を得るために、画像上の車両全体の第１矩形エッジを認識するステップと、
－第２矩形を得るために、画像上の、車両のサイド、例えば、カメラの視野からみて車両の前方サイドもしくは後方サイドまたは側方領域、の第２矩形エッジを認識するステップと、
－第１矩形と第２矩形が、同一車両に関するエッジであるかどうかを決定するステップと、
－第１矩形と第２矩形が、同一車両に関するエッジである場合、両方の矩形から車両のサイド方向を割り当てることができるどうかを決定するステップと、
－サイド方向を割り当てることができる場合、サイド方向を決定するステップと、
－第１矩形、第２矩形およびサイド方向から車両の三次元再構成を実施するステップと、を備える方法が提供される。
－カメラを用いて、少なくとも１つの車両の画像を撮影するステップと、
－第１矩形を得るために、画像上の車両全体の第１矩形エッジを認識するステップと、
－第２矩形を得るために、画像上の、車両のサイド、例えば、カメラの視野からみて車両の前方サイドもしくは後方サイドまたは側方領域、の第２矩形エッジを認識するステップと、
－第１矩形と第２矩形が、同一車両に関するエッジであるかどうかを決定するステップと、
－第１矩形と第２矩形が、同一車両に関するエッジである場合、両方の矩形から車両のサイド方向を割り当てることができるどうかを決定するステップと、
－サイド方向を割り当てることができる場合、サイド方向を決定するステップと、
－第１矩形、第２矩形およびサイド方向から車両の三次元再構成を実施するステップと、を備える方法が提供される。
【0011】
したがって、本方法は、好ましくは、１つのみのカメラを用いて撮影された画像であって評価される画像に基づく。例えば車両などのオブジェクトの例えば可視サイドが検出され、この領域のまわりの矩形が構成される。例えば、可視サイドとは、例えばホイールやウインドスクリーンを含む対向車の前面全体、またはカメラが前方に向けられている場合は先行車の後面全体である。さらなる矩形は、車両全体のまわりに設定される。これには、それぞれ画像上の可視前方サイドまたは可視後方サイド、および可視側方領域が含まれる。
【0012】
しかし、不可視サイドの矩形を例えば可視エッジから形成してもよい。
【0013】
第２矩形を得る（２０２）ために、車両のサイドの第２矩形エッジを認識することは、画像上のａ）カメラの視野からみて車両の前方サイド、ｂ）カメラの視野からみて車両の後方サイド、ｃ）カメラの視野からみて車両（６００）の右方サイドもしくは側方領域または／およびｄ）カメラ（６００）の視野からみて車両（６００）の左方サイドもしくは側方領域、に関してよい。
【0014】
したがって、他の、またはさらなる、つまり２より大きい数の、例えば車両のサイドを縁取る矩形、または、例えば車両の後方可視垂直方向エッジから検出される、車両後方サイドを縁取る矩形などの矩形が検出されてもよい。
【0015】
画像においては複数の車両が表示される場合があり、車両は互いに重複する場合もあるため、矩形はまず互いに割り当てられることになり、その結果、例えば前方サイドまたは後方サイド用の矩形が同一車両全体の矩形に割り当てられる。
【0016】
ここでは、車両は、例えば二輪車、トラック、路面電車、乗用車、トレーラーハウスなどである。
【0017】
１つの実施形態によると、第１矩形と第２矩形が、同一車両に関するエッジであるかどうかを決定するステップは、第１矩形および第２矩形の共通領域の、第２矩形の領域に対する比率を示す第１値であって、第１値が第１閾値を超える場合、第１矩形と第２矩形が同一車両に関するエッジとして決定される、第１値を算出することを含む。
【0018】
このようにして、比率は、両方の割り当てられた矩形の領域の共通集合の面積と、車両の前方サイドまたは後方サイドの矩形の領域のから算出される。この比率は、割り当ての指標として用いられる。この値が高ければ高いほど、両方の矩形が同一車両に関するものである確率が高くなる。この値が所定の閾値を超えると、矩形が互いに割り当てられ、本方法の次のステップが実施される。
【0019】
矩形割り当て用閾値が超過された場合に実施される、この次のステップにおいて、互いに割り当てられた矩形が、車両のどのサイドが画像に表示されているのか一義的に決定可能なように、互いに位置しているかどうかが検査される。この場合において、サイドとは、例えばカメラの視野からみて車両の左方サイドまたは右方サイドと理解される。これらは、サイド領域がパースペクティブ、つまり例えば車両の略正面パースペクティブに関して小さすぎる場合には、例えばエラーや精確でないことを理由に矩形決定のための画像評価には可能ではない。
【0020】
１つの実施形態によると、両方の矩形から車両のサイドを決定可能なステップは、第１矩形および第２矩形の共通領域の、第１矩形および第２矩形の合計に対する比率を示す第２値であって、第２値が第２閾値を下回る場合にサイド方向が決定可能とみなされる、第２値を算出することを含む。
【0021】
このように、両方の矩形の領域の共通集合の面積の、全体領域に対する比率が算出され、そして例えば可視サイド領域の大きさの相対的指標を示す。言い換えると、車両が幅よりも長さが大きい場合、画像において車両がより側方に表示されるほど、前方矩形そしてそれとともに共通集合の面積が小さくなる一方、全体車両の矩形は大きくなる。この比率が最終的に閾値を下回ると、サイドを確実に決定できると考えられる。画像において車両のどのサイドが見られるのか、つまりサイド方向は、両方の矩形の位置に基づいて互いに決定することができる。
【0022】
サイド方向が決定可能であることが認められ、そしてこれが決定されるとすぐに、車両の三次元再構成を実施することができる。
【0023】
１つの実施形態によると、車両の三次元再構成を実施するステップは、カメラの視野からみて後方領域または前方領域を、前方領域または後方領域を投影することにより決定することであって、投影の調整はサイド方向を考慮して行われる、決定を含み、前方領域または後方領域の角を後方領域または前方領域の角と結合することによりサイド領域を決定することを含む。
【0024】
例えば、画像上の車両は、カメラの視野からみて前方矩形を不可視で構成すべき後方矩形に投影することにより考慮に入れることができる、パースペクティブにおける消失を有する。後にさらに詳細に説明されるように、消失は特に画像上のオブジェクトの大きさおよびカメラの焦点距離の大きさにより決定される。後方の、この例では不可視の矩形が構成されるとすぐに、側方領域および上方領域ならびに下方領域を、前方矩形および後方矩形の対応する角を結合することにより構成することができる。
【0025】
１つの実施形態によると、後方領域または前方領域を決定することは、前方矩形または後方矩形の下方角の隣接する直線の前方矩形または後方矩形の下方エッジと、後方矩形または前方矩形の対応する角との間の角度を決定することを含む。
【0026】
角度は、例えば三角法により、車両長さまたは車両幅、および矩形の大きさに関する情報または推定に基づいて決定できる。車両大きさに関する情報は、例えば、このカメラデータまたは他のカメラデータに基づく車両タイプ検出、または、例えば車両間接続により得ることができる。これにより、例えば車両の後方領域と車両の前方領域との長さ方向の距離差などのさらなる大きさが算出される。
【0027】
１つの実施形態によると、後方領域または前方領域を決定することは、後方矩形または前方矩形の高さを算出することであって、高さは、一方では、カメラの焦点距離の、第１矩形または第２矩形の側方矩形エッジの長さに対する、他方では、カメラの車両との距離と車両の評価された実際の前方高さまたは評価された実際の後方高さとの、同じ比率に基づいて算出される、算出することを含む。これにより、最終的に、後方矩形のすべての角が決定され、対応する角点が互いに結合され、３Ｄ再構成が完成する。
【0028】
２より大きい数の矩形が用いられる場合、対応する指標を用いることができる。例えば、ペアで、後方領域の矩形と全体領域または前方領域と全体領域をそれぞれ車両に割り当てることができ、ペアを共通の全体領域または矩形を用いて求めることができる。同様に、方向をペアで評価することができる。２より大きい数の矩形の場合、このように、一方で、プロージビリティチェックが可能であり、他方で、例えば平均化によりエラーを減少させることができる。
【0029】
第２態様によると、車両の三次元画像再構成システムにおいて、少なくとも１つの車両に関する画像を撮影するカメラと、上記方法を実施する演算ユニットと、を備えるシステムが提供される。
【0030】
第３態様によると、上記システムを備える車両が提供される。
【0031】
以下、本発明の実施形態例を、概略図に基づいてさらに詳細に説明する。
【図面の簡単な説明】
【0032】
【発明を実施するための形態】
【0033】
以下、前方サイド、後方サイドまたは車両全体を取り囲む矩形を、専門用語で用いられる「バウンディングボックス」の概念を用いて示す。
【0034】
車両全体を含むバウンディングボックスと車両の後方および前方を含む第２バウンディングボックスとに基づく車両の３Ｄ構成の再構成が従来の手法を越えるものであるのは、
－アノテーションコストが必要最小限であり、
－３Ｄビュー再構成用の２つのボックスの数が最小限であり、
－画像内に属するバウンディングボックスを結合するために、いわゆる「ＩｏＡ」指標および「ＩｏＵ」指標が導入され、
－車両方向の評価が３Ｄ再構成に基づいて可能になるからである。
この方法は、サイドボックスの検出により拡張可能である：
サイドボックスの検出は、例えば、サイドビューが前方／後方よりも画像内において可視良好である場合、演算代替として前方／後方の代わりに用いることができ、または演算精度を向上させるための追加評価として用いることができる。
－アノテーションコストが必要最小限であり、
－３Ｄビュー再構成用の２つのボックスの数が最小限であり、
－画像内に属するバウンディングボックスを結合するために、いわゆる「ＩｏＡ」指標および「ＩｏＵ」指標が導入され、
－車両方向の評価が３Ｄ再構成に基づいて可能になるからである。
この方法は、サイドボックスの検出により拡張可能である：
サイドボックスの検出は、例えば、サイドビューが前方／後方よりも画像内において可視良好である場合、演算代替として前方／後方の代わりに用いることができ、または演算精度を向上させるための追加評価として用いることができる。
【0035】
この方法は、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）を検出器として用いるか、またはＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などの、特徴に基づく一般的な検出器を用いて実施できる。これにより、３Ｄと方向評価を高い演算効率で実施することが可能になる。
【0036】
オブジェクト検出器の大多数は画像上のオブジェクトの２Ｄ構成のみを評価する。これは２Ｄバウンディングボックスを介するか、または画素を精確に、オブジェクトをアノテーションするかのいずれかにより表示される。このことからは３Ｄ方向は導出されない。車両モデル、タイヤ、ドアなどの詳細な３Ｄ構成に基づく冒頭の方法は、深層学習を用いて３Ｄボックスを評価するアルゴリズムを訓練するために、相当なアノテーションコストを必要とする。さらに、この方法は多くの場合に演算コストがかかる。提案される発明は、必要とするアノテーションコストが僅少であり、演算効率が高い。
【0037】
本発明は、任意のオブジェクト検出器と接続することができる。本発明は、例えばＣＮＮのプロトタイプに関してテストされているが、ＨＯＧに基づく検出器などの他のオブジェクト検出器用に用いてもよい。このように、本発明は様々なオブジェクト検出器で使用可能であり、例えば、他の方法におけるように定義されたＣＮＮアーキテクチャに限定されない。
【0038】
車両の３Ｄバウンディングボックス評価および方向評価は、個別の画像として、道路交通におけるカメラの画像に基づく。
【0039】
以下、本発明を例示により説明するが、カメラの視野からみて車両の前方サイドと可視サイドは第１矩形を用いて縁取られ、カメラの視野からみて前方サイドが第２矩形を用いて縁取る。他のまたはさらなるサイドの検出および処理は同様にして実施される。
【0040】
図１は、２Ｄ検出に基づく３Ｄボックスの再構成の全体概要を示す。本手法は以下のように説明される：
最初のステップ１０１において、画像１０１内の全体ボックスと前方ボックスまたは後方ボックス（後方＿／前方＿ボックス）を検出する２つの検出器がトレーニングされる。このために、車両により占められる画像１０２内の領域全体をバウンディングボックスを用いて縁取り（全体＿ボックス１０６）、そしてまた車両の前方または／および後方の可視領域をバウンディングボックスを用いて縁取る（画像１０３内の後方＿前方＿ボックス１０７）、トレーニングデータのアノテーションが必要とされる。
最初のステップ１０１において、画像１０１内の全体ボックスと前方ボックスまたは後方ボックス（後方＿／前方＿ボックス）を検出する２つの検出器がトレーニングされる。このために、車両により占められる画像１０２内の領域全体をバウンディングボックスを用いて縁取り（全体＿ボックス１０６）、そしてまた車両の前方または／および後方の可視領域をバウンディングボックスを用いて縁取る（画像１０３内の後方＿前方＿ボックス１０７）、トレーニングデータのアノテーションが必要とされる。
【0041】
署名付き方向評価には、前方ボックスと後方ボックスを識別することが必要である。ここで、方向とは車両からみてサイドの種類（前、後、左または右）を示す。３Ｄ表示にはこの情報はなくてよい。
【0042】
本方法は、それぞれ任意の検出器、例えばＲｅｓＮｅｔ５０、つまり５０レイヤの残差ネットワーク検出器、またはバウンディングボックスを画像データにおいて予測して、そしてまたそのための属性を出力できる、いわゆる「領域ベースの完全畳み込みネットワーク」（ＲＦＣＮ）オブジェクト検出器を用いることができる。
【0043】
検出器はバウンディングボックス６０２、６０３のｘｙ軸（つまり高さおよび幅）を互いに独立して供給することから、まず、どのボックスが車両に適合するか演算することが必要である。ここでは、前方－／後方－ボックス１０３が全体ボックス１０２に割り当てられる。ここで、図２に示されるように、「ＩｏＡ」指標が算出される：
ＩｏＡ＝（領域＿前方＿後方＿ボックス２０２かつ領域＿全体＿ボックス２０３）２０１／領域＿後方＿前方＿ボックス２０４。
ＩｏＡ＝（領域＿前方＿後方＿ボックス２０２かつ領域＿全体＿ボックス２０３）２０１／領域＿後方＿前方＿ボックス２０４。
【0044】
この指標が閾値（例えば０．７）よりも大きい場合、２つのボックスは互いに関連付けられる。このステップが必要とされるのは、画像内で全体ボックスと後方／前方ボックスの複数の検出が生じる場合があるからである。関連付けがないボックスでは３Ｄ再構成は行われない。ボックスの方向は、側方サイド、前方サイド、または後方サイドのいずれかである。
【0045】
２つのボックスの関連付けの後、３Ｄボックスの再構成が適切であるかどうか決定される。ここで、図３に示されるように、「ＩｏＵ」（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）指標が算出される：
ＩｏＵ＝（領域＿後方＿前方＿ボックス３０２かつ領域＿全体＿ボックス３０３）３０１／（領域＿後方＿前方＿ボックス３０２または領域＿全体＿ボックス３０３）３０４。
ＩｏＵ＝（領域＿後方＿前方＿ボックス３０２かつ領域＿全体＿ボックス３０３）３０１／（領域＿後方＿前方＿ボックス３０２または領域＿全体＿ボックス３０３）３０４。
【0046】
この指標が定義された閾値、例えば０．７よりも小さい場合、３Ｄボックスが再構成される。そうでなければ、３Ｄ再構成はエラーが生じやすくなるが、それはボックス検出に僅少の測定エラーが含まれる可能性があり、このことが誤った車両サイドの再構成に至る可能性があるからである。
【0047】
後方＿前方＿ボックス検出器そして全体＿ボックス検出器はバウンディングボックス用にエラーを含んだ測定結果を供給する可能性があるため、まず、前方／後方ビューの訂正が演算される。訂正された前方／後方ビューは以下の領域である：
（領域＿後方＿前方＿ボックス３０２および領域＿全体＿ボックス３０３）３０４
（領域＿後方＿前方＿ボックス３０２および領域＿全体＿ボックス３０３）３０４
【0048】
続いて、３Ｄビューが再構成される。その際、評価されたサイドビューは前方／後方ビューに接続し、これと前方／後方ビューが全体＿ボックスの全体を占めるまで拡大される。グラウンドプレーン推定により、つまり車両が非傾斜面上にあるとして、ｚ方向（つまりボックスの領域に対して垂直方向）の下方後方エッジの、前方後方エッジに関する変位を算出できるか、またはこの変位をアプリオリに決定することができる。
【0049】
図１では、再構成に必要な異なるボックスが示されている：
－画像１０３内の前方－後方－ボックス－検出器１０７
－画像１０２内の全体－ボックス－検出器１０６
－領域＿後方＿前方＿ボックスかつ領域＿全体＿ボックス２０１、３０１
－画像１０４内の再構成３Ｄボックス１０８
－画像１０３内の前方－後方－ボックス－検出器１０７
－画像１０２内の全体－ボックス－検出器１０６
－領域＿後方＿前方＿ボックスかつ領域＿全体＿ボックス２０１、３０１
－画像１０４内の再構成３Ｄボックス１０８
【0050】
１０５において、得られた再構成の、最終的に得られた時系列シーケンス、例えばビデオシーケンスが示されている。
【0051】
図４は、車両の三次元画像再構成方法の個々のステップを示す。まず、４０１において、カメラを用いて少なくとも１つの車両の画像が撮影される。その後、４０２において、画像上の車両全体の第１矩形エッジが算出され、第１矩形が生じる。したがって、４０３において、画像上のカメラの視野からみて車両の前方領域の第２矩形エッジが算出され、第２矩形が生じる。その後、４０４において、第１矩形と第２矩形が、同一車両に関するエッジであるかどうかが決定される。そうである場合、４０５において、両方の矩形から車両のサイド方向を割り当てることができるどうかが決定される。できる場合、４０６において、サイド方向が決定され、最後に４０７において、第１矩形、第２矩形およびサイド方向から車両の三次元再構成が実施される。
【0052】
図５は、車両の三次元画像再構成システム５００において、少なくとも１つの車両に関する画像を撮影するカメラ５０１と、本方法を実施する演算ユニット５０２と、を備えるシステム５００を示す。
【0053】
図６は、上記システム５００を備える車両６００を示す。
【0054】
３Ｄ再構成に基づいて、大まかな方向評価が導出され、例えば、前方が可視の場合、０．３＜ＩｏＵ＜０．４は４５°の方向に対応する。
【0055】
カメラキャリブレーションが提供され、車両モデル（高さ、幅、長さ）を得ることができるか推定できる場合、グラウンドプレーン推定および平行線と線分比の定理に基づいて方向角度を評価できる。
【0056】
図７～９において、どのようにして方法を評価できるか、およびどのようにしてカメラの視野からみて後方ボックスまたは後方矩形を算出できるか、という例示の手法が示されている。
【0057】
図７は、前方矩形７０１およびｚ＝０のときのｘｙ平面における全体矩形７０２の幾何学的構成の正面図を示しており、つまり平面は前方矩形の平面内に位置している。図７～９において、小文字の変数は画像域における変数を表す。単位は例えば画素である。大文字の変数は実際の周囲の変数を表す。単位は例えばメートルである。
【0058】
前方矩形７０１はｚ＝０のとき、高さｈｒ（０）と幅ｗｒ（０）を有する。全体矩形７０２は幅ｗｔｏｔを有する。
【0059】
図８は、角度βだけ回転し、同じく矩形として表された車両を上からみたところを示した矩形７０１、７０２の幾何学的構成の平面図である。大きさは、実際の周囲の大きさのみ図７に対応している：
Ｗｃａｒ…車両幅［ｍ］
Ｗｒ…車両の前方サイドの可視幅［ｍ］
Ｗｔｏｔ…車両の可視幅および長さ［ｍ］
Ｌｃａｒ…車両長さ［ｍ］
Ｈｃａｒ…車両高さ［ｍ］
Ｌ１…前方矩形と後方矩形の距離
Ｌ２…回転に基づく変位を含む、前方矩形と後方矩形の距離
Ｈ（０）、Ｈ（Ｌ１）、Ｈ（Ｌ２）はｚ＝０、ｚ＝Ｌ１、ｚ＝Ｌ２のときの車両高さを表す。
Ｗｃａｒ＝２ｍ
Ｌｃａｒ＝５ｍ
Ｈｃａｒ＝１．８ｍ
Ｈｃａｒ＝Ｈ（０）＝Ｈ（Ｌ１）＝Ｈ（Ｌ２）
Ｗｃａｒ…車両幅［ｍ］
Ｗｒ…車両の前方サイドの可視幅［ｍ］
Ｗｔｏｔ…車両の可視幅および長さ［ｍ］
Ｌｃａｒ…車両長さ［ｍ］
Ｈｃａｒ…車両高さ［ｍ］
Ｌ１…前方矩形と後方矩形の距離
Ｌ２…回転に基づく変位を含む、前方矩形と後方矩形の距離
Ｈ（０）、Ｈ（Ｌ１）、Ｈ（Ｌ２）はｚ＝０、ｚ＝Ｌ１、ｚ＝Ｌ２のときの車両高さを表す。
Ｗｃａｒ＝２ｍ
Ｌｃａｒ＝５ｍ
Ｈｃａｒ＝１．８ｍ
Ｈｃａｒ＝Ｈ（０）＝Ｈ（Ｌ１）＝Ｈ（Ｌ２）
【0060】
メートルと画素の関係は、例えば高さｈｒ（０）のＨ（０）との比率により算出することができる。
【0061】
ここで、方向角度βは、
ｓｉｎ（β）＝Ｗｒ／Ｗｃａｒ→βまたは
Ｗｔｏｔ－Ｗｒ＝Ｌｃａｒ ｃｏｓ（β）
の関係から決定することができる。これにより、Ｌ１およびＬ２が次により算出される
Ｌ１＝Ｌｃａｒ ｓｉｎ（β）
Ｌ２＝Ｌ１＋Ｗｃａｒ ｃｏｓ（β）
ｓｉｎ（β）＝Ｗｒ／Ｗｃａｒ→βまたは
Ｗｔｏｔ－Ｗｒ＝Ｌｃａｒ ｃｏｓ（β）
の関係から決定することができる。これにより、Ｌ１およびＬ２が次により算出される
Ｌ１＝Ｌｃａｒ ｓｉｎ（β）
Ｌ２＝Ｌ１＋Ｗｃａｒ ｃｏｓ（β）
【0062】
図９は、どのようにして平行線と線分比の定理および既知の値ｈｒ（０）、Ｌ１、Ｌ２、Ｈ（０）、Ｈ（Ｌ１）、Ｈ（Ｌ２）およびカメラの焦点距離ｌｆｏｃを用いて、距離Ｄとｈｒ（ｌ１）、ｈｒ（ｌ２）およびｗ（ｌ１）、ｗ（ｌ２）を算出するかを示す：
Ｄ／Ｈ（０）＝ｌｆｏｃ／ｈｒ（０）からＤが決定する。
ｈｒ（ｌ１）はＤ＋Ｌ１／Ｈ（Ｌ１）＝ｌｆｏｃ／ｈｒ（ｌ１）から得られる。
ｈｒ（ｌ２）はＤ＋Ｌ１／Ｈ（Ｌ２）＝ｌｆｏｃ／ｈｒ（ｌ２）から得られる。
Ｄ／Ｈ（０）＝ｌｆｏｃ／ｈｒ（０）からＤが決定する。
ｈｒ（ｌ１）はＤ＋Ｌ１／Ｈ（Ｌ１）＝ｌｆｏｃ／ｈｒ（ｌ１）から得られる。
ｈｒ（ｌ２）はＤ＋Ｌ１／Ｈ（Ｌ２）＝ｌｆｏｃ／ｈｒ（ｌ２）から得られる。
【0063】
最後に、ｗ（ｌ１）およびｗ（ｌ２）は、ｈｒ（０）／ｈｒ（ｌ１）またはｈｒ（０）／ｈｒ（ｌ２）の比率から得られる。
【0064】
当業者に知られている、いわゆる期待値最大化アルゴリズムにより、この評価を改善できる。このアルゴリズムにおいて、反復してまず、最初の評価値を有する答えが算出され、そして答えは、再び精確な評価値としてさらなるサイクルの新たな初期設定に入る。これは、したがって、ランタイムにおいてさらに演算集約的である。
なお、本発明は、以下の態様も包含し得る：
１．車両（６００）の三次元画像再構成方法において、
－カメラ（５０１）を用いて、少なくとも１つの車両の画像を撮影するステップ（４０１）と、
－第１矩形を得る（２０３）ために、前記画像上の前記車両全体の第１矩形エッジを認識するステップ（４０２）と、
－第２矩形を得る（２０２）ために、前記画像上の、車両（６００）のサイドの第２矩形エッジを認識するステップ（４０３）と、
－前記第１矩形と前記第２矩形が、前記同一車両に関するエッジであるかどうかを決定するステップ（４０４）と、
－前記第１矩形と前記第２矩形が、前記同一車両に関するエッジである場合、両方の前記矩形から前記車両（６００）のサイド方向を割り当てることができるかどうかを決定するステップ（４０５）と、
－サイド方向を割り当てることができる場合、前記サイド方向を決定するステップ（４０６）と、
－前記第１矩形、前記第２矩形および前記サイド方向から前記車両の三次元再構成を実施するステップ（４０７）と、を備える方法。
２．前記第１矩形（２０３）と前記第２矩形（２０２）が、前記同一車両（６００）に関するエッジであるかどうかを決定することは、前記第１矩形（２０３）および前記第２矩形（２０２）の共通領域（２０１）の、前記第２矩形の領域（２０４）に対する比率を示す第１値であって、前記第１値が第１閾値を超える場合、前記第１矩形と前記第２矩形が前記同一車両に関するエッジとして決定される、第１値を算出することを含む、上記１．に記載の方法。
３．両方の前記矩形（２０２、２０３）から前記車両のサイドを割り当てることができるかどうかを決定することは、前記第１矩形および前記第２矩形の共通領域（３０１）の、前記第１矩形（３０２）および前記第２矩形（３０２）の合計（３０４）に対する比率を示す第２値であって、前記第２値が第２閾値を下回る場合にサイド方向が決定可能とみなされる、第２値を算出することを含む、上記１．または２．に記載の方法。
４．前記車両（６００）の三次元再構成を実施することは、前記カメラ（５０１）の視野からみて後方領域または前方領域を、前記前方領域または前記後方領域を投影することにより決定することであって、前記投影の調整は前記サイド方向を考慮して行われる、決定を含み、前記前方領域または前記後方領域の角を前記後方領域または前記前方領域の角と結合することによりサイド領域を決定することを含む、上記１．～３．のいずれか１つに記載の方法。
５．前記後方領域または前記前方領域を決定することは、前記前方矩形または前記後方矩形の下方角の隣接する直線の前記前方矩形または前記後方矩形の下方エッジと、前記後方矩形または前記前方矩形の対応する角との間の角度を決定することを含む、上記１．～４．のいずれか１つに記載の方法。
６．前記後方領域または前記前方領域を決定することは、前記後方矩形または前記前方矩形の高さを算出することであって、前記高さは、一方では、前記カメラ（５０１）の焦点距離の、前記第１矩形または前記第２矩形の側方矩形エッジの長さに対する比率と、他方では、前記カメラ（５０１）の前記車両（６００）との距離と前記車両（６００）の評価された実際の前方高さまたは評価された実際の後方高さとの比率が、同じであることに基づいて算出される、算出することを含む、上記１．～５．のいずれか１つに記載の方法。
７．車両（６００）の三次元画像再構成システム（５００）において、
－少なくとも１つの車両に関する画像を撮影するカメラ（５０１）と、
－上記１．～６．のいずれか１つに記載の方法を実施する演算ユニット（５０２）と、を備えるシステム（５００）。
８．上記７．に記載のシステム（５００）を備える車両（６００）。
なお、本発明は、以下の態様も包含し得る：
１．車両（６００）の三次元画像再構成方法において、
－カメラ（５０１）を用いて、少なくとも１つの車両の画像を撮影するステップ（４０１）と、
－第１矩形を得る（２０３）ために、前記画像上の前記車両全体の第１矩形エッジを認識するステップ（４０２）と、
－第２矩形を得る（２０２）ために、前記画像上の、車両（６００）のサイドの第２矩形エッジを認識するステップ（４０３）と、
－前記第１矩形と前記第２矩形が、前記同一車両に関するエッジであるかどうかを決定するステップ（４０４）と、
－前記第１矩形と前記第２矩形が、前記同一車両に関するエッジである場合、両方の前記矩形から前記車両（６００）のサイド方向を割り当てることができるかどうかを決定するステップ（４０５）と、
－サイド方向を割り当てることができる場合、前記サイド方向を決定するステップ（４０６）と、
－前記第１矩形、前記第２矩形および前記サイド方向から前記車両の三次元再構成を実施するステップ（４０７）と、を備える方法。
２．前記第１矩形（２０３）と前記第２矩形（２０２）が、前記同一車両（６００）に関するエッジであるかどうかを決定することは、前記第１矩形（２０３）および前記第２矩形（２０２）の共通領域（２０１）の、前記第２矩形の領域（２０４）に対する比率を示す第１値であって、前記第１値が第１閾値を超える場合、前記第１矩形と前記第２矩形が前記同一車両に関するエッジとして決定される、第１値を算出することを含む、上記１．に記載の方法。
３．両方の前記矩形（２０２、２０３）から前記車両のサイドを割り当てることができるかどうかを決定することは、前記第１矩形および前記第２矩形の共通領域（３０１）の、前記第１矩形（３０２）および前記第２矩形（３０２）の合計（３０４）に対する比率を示す第２値であって、前記第２値が第２閾値を下回る場合にサイド方向が決定可能とみなされる、第２値を算出することを含む、上記１．または２．に記載の方法。
４．前記車両（６００）の三次元再構成を実施することは、前記カメラ（５０１）の視野からみて後方領域または前方領域を、前記前方領域または前記後方領域を投影することにより決定することであって、前記投影の調整は前記サイド方向を考慮して行われる、決定を含み、前記前方領域または前記後方領域の角を前記後方領域または前記前方領域の角と結合することによりサイド領域を決定することを含む、上記１．～３．のいずれか１つに記載の方法。
５．前記後方領域または前記前方領域を決定することは、前記前方矩形または前記後方矩形の下方角の隣接する直線の前記前方矩形または前記後方矩形の下方エッジと、前記後方矩形または前記前方矩形の対応する角との間の角度を決定することを含む、上記１．～４．のいずれか１つに記載の方法。
６．前記後方領域または前記前方領域を決定することは、前記後方矩形または前記前方矩形の高さを算出することであって、前記高さは、一方では、前記カメラ（５０１）の焦点距離の、前記第１矩形または前記第２矩形の側方矩形エッジの長さに対する比率と、他方では、前記カメラ（５０１）の前記車両（６００）との距離と前記車両（６００）の評価された実際の前方高さまたは評価された実際の後方高さとの比率が、同じであることに基づいて算出される、算出することを含む、上記１．～５．のいずれか１つに記載の方法。
７．車両（６００）の三次元画像再構成システム（５００）において、
－少なくとも１つの車両に関する画像を撮影するカメラ（５０１）と、
－上記１．～６．のいずれか１つに記載の方法を実施する演算ユニット（５０２）と、を備えるシステム（５００）。
８．上記７．に記載のシステム（５００）を備える車両（６００）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】