知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】運転支援方法及びシステム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240423BHJP
G08G 1/0969 20060101ALI20240423BHJP
G01C 21/36 20060101ALI20240423BHJP
G02B 27/02 20060101ALI20240423BHJP
G09G 5/00 20060101ALI20240423BHJP
G09G 5/37 20060101ALI20240423BHJP
G09G 5/36 20060101ALI20240423BHJP
B60K 35/28 20240101ALI20240423BHJP
H04N 13/239 20180101ALI20240423BHJP
H04N 13/344 20180101ALI20240423BHJP
H04N 13/271 20180101ALI20240423BHJP
B60K 35/21 20240101ALI20240423BHJP
G06F 3/01 20060101ALN20240423BHJP
【ＦＩ】
G06T19/00 600
G08G1/0969
G01C21/36
G02B27/02 Z
G09G5/00 510A
G09G5/00 550C
G09G5/37 320
G09G5/36 500
B60K35/28
H04N13/239
H04N13/344
H04N13/271
B60K35/21
G06F3/01 510
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023560632
(86)(22)【出願日】2022-03-18
(85)【翻訳文提出日】2023-11-24
(86)【国際出願番号】 IB2022052467
(87)【国際公開番号】W WO2022208222
(87)【国際公開日】2022-10-06
(31)【優先権主張番号】102021000007862
(32)【優先日】2021-03-30
(33)【優先権主張国・地域又は機関】IT
(81)【指定国・地域】
(71)【出願人】
【識別番号】501193001
【氏名又は名称】ポリテクニコ ディ ミラノ
【氏名又は名称原語表記】ＰＯＬＩＴＥＣＮＩＣＯ ＤＩ ＭＩＬＡＮＯ
【住所又は居所原語表記】Ｐｉａｚｚａ Ｌｅｏｎａｒｄｏ ｄａ Ｖｉｎｃｉ，３２２０１３３ ＭＩＬＡＮＯ－Ｉｔａｌｙ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100189555
【弁理士】
【氏名又は名称】徳山 英浩
(74)【代理人】
【識別番号】100131808
【弁理士】
【氏名又は名称】柳橋 泰雄
(72)【発明者】
【氏名】コルノ，マッテオ
(72)【発明者】
【氏名】フランチェスケッティ，ルカ
(72)【発明者】
【氏名】サヴァレージ，セルジオ マッテオ
(72)【発明者】
【氏名】センチュリオン，マルコ
【テーマコード（参考）】
2F129
2H199
3D344
5B050
5C182
5E555
5H181
【Ｆターム（参考）】
2F129AA03
2F129BB03
2F129CC15
2F129CC16
2F129DD21
2F129DD29
2F129EE02
2F129EE52
2F129EE69
2F129EE70
2F129GG17
2F129HH15
2H199CA12
2H199CA82
2H199CA92
2H199CA96
3D344AA21
3D344AA26
3D344AA30
5B050AA10
5B050BA09
5B050CA01
5B050DA01
5B050EA05
5B050EA06
5B050EA07
5B050EA12
5B050EA13
5B050EA15
5B050EA26
5B050FA02
5C182AA04
5C182AA26
5C182AB02
5C182AB08
5C182AB15
5C182AB26
5C182AB31
5C182AB35
5C182AC02
5C182AC03
5C182AC46
5C182BA14
5C182BA29
5C182BA46
5C182BA47
5C182BA56
5C182CB32
5C182CB42
5C182CB54
5C182CC24
5C182DA44
5E555AA26
5E555BA23
5E555BB23
5E555BC08
5E555BE17
5E555CA42
5E555DA08
5E555DC09
5E555DC43
5E555EA22
5E555FA00
5H181AA01
5H181CC04
5H181CC24
5H181FF05
5H181FF32
(57)【要約】
本発明は、車両（５）の運転を支援する方法（２００，３００）に関する。この方法（２００，３００）は、車両（５）に搭載されたＨＭＤ（１０）と位置決めモジュール（２０）とを備えるシステム（１）によって実施され、ＨＭＤ（１０）は、スクリーン（１１）と、スクリーン（１１）の主長さ方向に沿ってスクリーン（１１）の反対側に配置された対のビデオカメラ（１５）とを備える。方法（２００，３００）は、以下のステップを含む：ａ． ＨＭＤ（１０）によって対の画像（ＩＬ，ＩＲ）を取得する（３０１）ステップであって、各画像は、ＨＭＤ（１０）のそれぞれのカメラ（１５）によって取得され、視野（ＦＯＶ）の同じ部分をフレーミングし、視野（ＦＯＶ）の同じ部分は、路面（ＯＲ０）の一部を構成するステップ；ｂ．取得された対の画像とカメラの特性に基づいて、視野の同一部分に含まれる各点の三次元空間（ＶＯＬ）における位置を推定する（３０３）ステップ；ｃ． 取得された対の画像（ＩＬ，ＩＲ）と、対の画像（ＩＬ，ＩＲ）の取得の連続性において測位モジュール（５）によって決定された位置とに基づいて、路面の一部（ＯＲ０）を構成する三次元空間（ＶＯＬ）の三次元関心領域（ＶＣ）を推定するシテップ（３０５）；ｄ． 視野（ＦＯＶ）の同じ部分に構成され、三次元関心領域（ＶＣ）に構成される点のサブセットを選択するステップ（３０７）；ｅ． 選択された点のサブセットに含まれる点の推定位置に基づいて、路面（ＯＲ０）に対応する平面（ＲＳ）を計算するステップ（３０９）；ｇ． ステップｅで算出された路面（ＯＲ０）に対応する平面（ＲＳ）上に配置されるように、ＨＭＤ（１０）のスクリーン（１１）上に二次元画像（ＡＲ）を再生する（３１１、３１３、２１５）ステップ。
【特許請求の範囲】
【請求項1】
車両（５）に搭載されたＨＭＤ（１０）と位置決めモジュール（２０）とを含むシステム（１）によって実施される、車両（５）の運転を支援する方法（２００，３００）であって、ＨＭＤ（１０）は、スクリーン（１１）と、スクリーン（１１）の主長さ方向に沿ってスクリーン（１１）の反対側に配置された対のビデオカメラ（１５）とを備え、方法（２００，３００）は、ａ． ＨＭＤ（１０）によって対の画像（ＩＬ，ＩＲ）を取得するステップであって、各画像は、ＨＭＤ（１０）のそれぞれのカメラ（１５）によって取得され、視野（ＦＯＶ）の同じ部分をフレーミングし、視野（ＦＯＶ）の同じ部分は、路面の一部（ＯＲ０）を含む、ステップ（’３０３）と、
ｂ．取得された対の画像とカメラの特性とに基づいて、視野（ＦＯＶ）の同じ部分に含まれる各点の三次元空間（ＶＯＬ）における位置を推定するステップ（３０３）と、
ｃ． 対の画像（ＩＬ，ＩＲ）の取得の連続性において、取得された対の画像（ＩＬ，ＩＲ）と測位モジュール（５）によって決定された位置とに基づいて、路面の一部（ＯＲ０）を含む三次元空間（ＶＯＬ）の三次元関心領域（ＶＣ）を推定するステップ（３０５）と、
ｄ． 視野（ＦＯＶ）の同じ部分に含まれ、三次元関心領域（ＶＣ）に含まれる点のサブセットを選択するステップ（３０７）と、
ｅ． 選択された点のサブセットに含まれる点の推定位置に基づいて、路面（ＯＲ０）に対応する平面（ＲＳ）を計算するステップ（３０９）と、
ｇ． ステップｅで計算された路面（ＯＲ０）に対応する平面（ＲＳ）上に配置されるように、ＨＭＤ（１０）のスクリーン（１１）上に二次元画像（ＡＲ）を再生するステップ（３１１、３１３、２１５）と、
を含む方法（２００，３００）。
【請求項2】
ｂ．取得画像（ＩＬ，ＩＲ）は、行および列に沿って整列配置された複数の画素を含み、視野（ＦＯＶ）の同じ部分に含まれる各点の三次元空間（ＶＯＬ）における位置を推定するステップ（３０５）が、－ 視野（ＦＯＶ）の同じ部分に含まれる同じ点に関連する対の他の画像（ＩＲ，ＩＬ）の対応する画素を識別するステップ（３０３１）と、
－ 画素のセットに基づいて点の三角測量を行って、三次元空間（ＶＯＬ）における点の位置を決定するステップ（３０３３）と、
を含む、請求項１に記載の方法（２００，３００）。
【請求項3】
対の他の画像（ＩＲ，ＩＬ）の対応する画素を識別するステップ（３０３１）が、－ 対の画像（ＩＬ，ＩＲ）を比較することによって視差マップを計算するステップ（３０３１）を含み、
三次元空間（ＶＯＬ）における点の位置を決定するステップ（３０３３）が、
－ 点の三角測量において、視差マップに含まれる対の画像（ＩＬ，ＩＲ）の対応する画素間の視差値を使用する、請求項２に記載の方法（２００，３００）。
【請求項4】
ｃ．路面の一部（ＯＲ０）を含む三次元空間（ＶＯＬ）の三次元関心領域（ＶＣ）を推定するステップ（３０５）が、－ 対の画像（ＩＬ，ＩＲ）の取得の連続性において、画像（ＩＬ，ＩＲ）の対と位置決めモジュール（５）によって決定された位置とに基づいて、路面の一部（ＯＲ０）のおおよその位置（Ｐ０）を推定するステップ（３０５１）と、
－ 第１のオフセット値を計算または選択するステップと、
－ 第２のオフセット値を計算または選択するステップと、
－ 三次元関心領域（ＶＣ）を、路面の一部（ＯＲ０）のおおよその位置（Ｐ０）に第１のオフセット値を加えた高さに位置する第１の境界面（ＳＵ）と、路面の一部（ＯＲ０）のおおよその位置（Ｐ０）から第２のオフセット値を引いた高さに位置する第２の境界面（ＳＢ）とによって区切られる空間として定義するステップ（３０５３、３０５５）と、
を含む、請求項１から３の何れか１項に記載の方法（２００，３００）。
【請求項5】
三次元関心領域（ＶＣ）が、－ ＨＭＤ（１０）の位置から、車両（５）の長手方向の長さに平行な方向に最小しきい値以上の距離から開始し、ＨＭＤ（１０）の位置から、車両（５）の長手方向の長さと平行な方向において、最大しきい値以下の距離まで延びており、
好ましくは、最小しきい値は、５ｍと１５ｍの間であり、より好ましくは、１０ｍに等しく、好ましくは、最大しきい値は５０ｍから１５０ｍの間、より好ましくは最大しきい値は１００ｍに等しい、請求項４に記載の方法（２００，３００）。
【請求項6】
三次元関心領域（ＶＣ）が、車両（５）の長手方向の長さに直交する方向において、路面の幅（ＯＲ０）に実質的に対応する幅を有し、好ましくは、その幅は３ｍ以上１２ｍ以下であり、より好ましくは、その幅は６ｍに等しい、請求項４または５に記載の方法（２００，３００）。
【請求項7】
ｅ平面（ＲＳ）を計算するステップ（３０９）が、－ Ｍ推定サンプルコンセンサス（ＭＳＡＣ）タイプのアルゴリズムにより、三次元関心領域（ＶＣ）内に含まれる視野（ＦＯＶ）の同じ部分の点のサブセットを精緻化するステップを含む、請求項１から６の何れか１項に記載の方法（２００，３００）。
【請求項8】
システムが、車両（５）の内部に配置された少なくとも１つの基準要素（４０）をさらに備え、ＨＭＤ（１０）のスクリーン（１１）上に再現される各二次元画像（ＡＲ）が、三次元空間の点のセット（｛ｗｐ｝）によって定義される仮想オブジェクト（ＯＡ）を表し、
本方法はさらに、
－ 位置決めモジュール（２０）によって決定された位置と、ＨＭＤ（１０）のカメラ（１５）によってフレーミングされた少なくとも１つの基準要素（４０）の位置とに基づいて、ＨＭＤ（１０）の位置を決定する（２０１～２０５）ステップと、
－ ＨＭＤ（１０）の位置に基づいて、ＨＭＤ（１０）の視野（ＦＯＶ）に含まれる空間に対応する三次元空間（ＶＯＬ）を決定するステップ（２０９）と、
－ 二次元画像（ＡＲ）として再現される少なくとも１つの仮想オブジェクト（ＯＡ）が三次元空間（ＶＯＬ））内に含まれる場合、ＨＭＤ（１０）のスクリーン（１１）上に二次元画像を再現する（３１１、３１３、２１５）ステップｇが、
－ 位置決めモジュール（２０）によって決定された位置と、ステップｅ．で計算された平面（ＲＳ）に基づいて、三次元空間の点の集合の点のセット（｛ｗｐ｝）を補正するステップ（３１１）と、
－ 点のセット（｛ｗｐ｝）の正しい点に基づいて、仮想オブジェクト（ＯＡ）に関連する二次元画像（ＡＲ）を表示するスクリーン位置（ＡＰ’）を計算するステップ（３１３）と、
－ 画面位置（ＡＰ’）において、ＨＭＤ（１０）のディスプレイ（１１）上に二次元画像（ＡＲ）を再生するステップ（２１５）と、
を含む請求項１から７の何れか１項に記載の方法（２００，３００）。
【請求項9】
三次元空間の点のセット（｛ｗｐ｝）の各点を修正するステップ（３１１）が、ｗｐ’＝ｗｐ－（ｗｐ－ｐ）・ｎ→
ここで、ｗｐは点の座標であり、ｗｐ’は点の補正座標であり、ｐは平面（ＲＳ）上のＨＭＤ（１０）の位置の投影であり、ｎ→は平面（ＲＳ）に対する法線ベクトル、
で表す式で各々の正しい点を計算する、請求項７に記載の方法（２００，３００）。
【請求項10】
車両（５）の運転を支援するシステム（１）であって、－ スクリーン（１１）と、スクリーン（１１）の長さ方向に沿ってスクリーン（１１）の反対側に配置された対のビデオカメラ（１５）とを含むＨＭＤ（１０）と、
－ 車両（５）の位置を検出するように構成された、車両に搭載された測位モジュール（２０）と、
－ 二次元画像（ＡＲ）として表示される仮想オブジェクト（ＯＡ）に関連付けられた少なくとも１セットの点が記憶されたメモリ領域（３１）と、
－ 位置決めモジュール（２０）、ＨＭＤ（１０）に動作可能に接続され、請求項１から９の何れか１項に記載の方法（２００，３００）を実施するように構成された処理ユニット（３０）と、を備えるシステム（１）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エレクトロニクスの分野に関する。より詳細には、本発明は、運転支援方法及びシステムに関する。
【背景技術】
【0002】
今日まで、移動速度、燃料レベル、ナビゲーション方向等の情報のような運転情報は、車両のダッシュボードまたは車両が備える任意のインフォテインメントスクリーン上に表示される。 ダッシュボードもスクリーンも、運転者が道路環境から少なくとも部分的に目を離さなければならないような位置に車両内に設置されていることが多く、そのため、運転の安全性とそのような情報を利用する可能性の両方が低下している。
【0003】
自動車や航空分野では、この問題の部分的な解決策として「ヘッドアップディスプレイ」、略してＨＵＤが提案されている。 ＨＵＤとは、自動車のフロントガラスに映像を投影するシステムである。 特にＨＵＤは、車のフロントガラスに直接情報を投影できるため、ユーザは常に視線を道路に向け、運転に集中することができる。
【0004】
しかしながら、ＨＵＤ１．０として知られるＨＵＤの現在の標準は、古典的な車載計器によって提供される冗長な情報を表示するためにのみ使用される。 さらに、出願人は、ＨＵＤ技術が拡張現実の要素を効果的に描写することを可能にしないことを観察した。 実際、ドライバーの視野を完全にカバーするために投影システムが必要とする拡張は、現在の技術水準で利用可能な技術よりもはるかに大きい。特に、車両のフロントガラスによって実質的に規定される主視野全体と、１つ以上のサイドウィンドウのような副視野を利用できるＨＵＤは存在しない。
【0005】
ＨＵＤシステムと並んで、より最近では、ウェアラブルスクリーンに基づくシステムが提案されており、これは、「ヘッドマウントディスプレイ」（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ）、略してＨＭＤとしてよりよく知られており、例えば、車両を運転中にＨＭＤを装着しているユーザに運転支援情報を提供するために、画像を再生することができる透明または半透明のスクリーンからなる。
【0006】
例えば、ＵＳ ２０１６／０８４６６１、ＥＰ ２９３３７０７、ＵＳ ２０１５／３１７８３４およびＵＳ ２０１５／０９７８６４には、ＨＭＤを使用する運転支援システムが記載されている。
【0007】
さらに、Ｇ． Ｂｅｒｇ， Ｄａｓ Ｖｅｈｉｃｌｅ ｉｎ ｔｈｅ Ｌｏｏｐ： Ｅｉｎ Ｗｅｒｋｚｅｕｇ ｆｕｒ ｄｉｅ Ｅｎｔｗｉｃｋｌｕｎｇ ｕｎｄ Ｅｖａｌｕａｔｉｏｎ ｖｏｎ ｓｉｃｈｅｒｈｅｉｔｓｋｒｉｔｉｓｃｈｅｎ Ｆａｈｒｅｒａｓｓｉｓｔｅｎｚｓｙｓｔｅｍｅｎ， Ｍｕｎｃｈｅｎ， Ｕｎｉｖ． ｄｅｒ Ｂｕｎｄｅｓｗｅｈｒ， Ｄｉｓｓ．， ２０１４には、車両に対するＨＭＤによって取得された画像のポーズを正確に決定するために、ＨＭＤと静的（マーカ）および動的（ヘッドトラッカー）基準要素の使用からなる運転支援システムが記載されている。
【発明の概要】
【解決すべき課題】
【0008】
出願人は、公知のシステムは、製造が非常に複雑であり、ユーザの視野に拡張現実画像を配置する際の品質が限定的であると指摘した。実際、出願人は、公知のシステムでは、拡張現実画像は、ＨＭＤによって縁取られた現実環境と調和しないことを観察した。 特に、路面のような平坦な表面上に重なって表示されるように意図された拡張現実画像の場合、および／または、観察点から、すなわち、ＨＭＤの位置からかなり離れた、例えば、１００メートルのオーダーの距離にある拡張現実オブジェクトの場合、拡張現実画像は、意図された配置に対してオフセットされた位置に表示される。
【0009】
本発明の目的は、従来技術の欠点を克服することである。
【0010】
特に、本発明の目的は、ＨＭＤを通してユーザによって観察される周辺環境と調和するように、ＨＭＤを通して拡張現実画像を再現するように構成された運転支援方法および相対システムを提供することである。
【0011】
本発明のさらなる目的は、表面、特に路面に重ね合わせることを意図した拡張現実オブジェクトを最適な方法で再現することを可能にする方法および相対システムを提案することである。
【0012】
本発明のこれらおよび他の目的は、本明細書の不可欠な部分を形成する添付の特許請求の範囲の特徴を組み込んだシステムによって達成される。
【課題を解決するための手段】
【0013】
第１の態様によれば、本発明は車両運転支援方法に向けられている。 この方法は、車両に搭載されたＨＭＤと測位モジュールとを含むシステムによって実施され、ＨＭＤは、スクリーンと、スクリーンの主長さ方向に沿ってスクリーンの反対側に配置された対のビデオカメラとを備える。
本方法は、
ａ． ＨＭＤによって対の画像を取得するステップであって、各画像は、ＨＭＤのそれぞれのカメラによって取得され、視野の同じ部分をフレーミングし、視野の同じ部分は、路面の一部を含む、ステップと、
ｂ．取得された対の画像とカメラの特性とに基づいて、視野の同じ部分に含まれる各点の三次元空間における位置を推定するステップと、
ｃ．対の画像の取得の連続性において、取得された対の画像と測位モジュール（５）によって決定された位置とに基づいて、路面の一部を含む三次元空間の三次元関心領域を推定するステップと、
ｄ． 視野の同じ部分に含まれ、三次元関心領域に含まれる点のサブセットを選択するステップと、
ｅ． 選択された点のサブセットに含まれる点の推定位置に基づいて、路面に対応する平面を計算するステップと、
ｇ． ステップｅで計算された路面に対応する平面上に配置されるように、ＨＭＤのスクリーン上に二次元画像を再生するステップ（３１１、３１３、２１５）と、
を含む。
本方法は、
ａ． ＨＭＤによって対の画像を取得するステップであって、各画像は、ＨＭＤのそれぞれのカメラによって取得され、視野の同じ部分をフレーミングし、視野の同じ部分は、路面の一部を含む、ステップと、
ｂ．取得された対の画像とカメラの特性とに基づいて、視野の同じ部分に含まれる各点の三次元空間における位置を推定するステップと、
ｃ．対の画像の取得の連続性において、取得された対の画像と測位モジュール（５）によって決定された位置とに基づいて、路面の一部を含む三次元空間の三次元関心領域を推定するステップと、
ｄ． 視野の同じ部分に含まれ、三次元関心領域に含まれる点のサブセットを選択するステップと、
ｅ． 選択された点のサブセットに含まれる点の推定位置に基づいて、路面に対応する平面を計算するステップと、
ｇ． ステップｅで計算された路面に対応する平面上に配置されるように、ＨＭＤのスクリーン上に二次元画像を再生するステップ（３１１、３１３、２１５）と、
を含む。
【0014】
この解決策のおかげで、二次元画像、すなわちスクリーンによって再現される拡張現実画像は、ＨＭＤを装着しているユーザによって、例えばＨＭＤを装着しているユーザから数百メートルのオーダーのような遠距離であっても、視野内に正しく配置された（仮想）オブジェクトとして知覚される。 特に、路面の連続として表示される拡張現実オブジェクトは、あたかも路面に描かれた画像や路面に置かれた物理的な３次元オブジェクトであるかのように、その上に正しく配置される。その結果、現実環境とＨＭＤスクリーン上に再現される拡張現実画像との間の調和の欠如により、ＨＭＤを装着したユーザの知覚および／または運転性能に悪影響を及ぼす可能性がある、所謂「不気味の谷」効果が回避される。
【0015】
一実施形態では、各取得画像はデジタル画像であるため、行と列に沿って整列配置された複数の画素からなる。このような場合、視野の同じ部分に含まれる各点の三次元空間における位置を推定するステップｂ．は、
－ 視野の同じ部分に含まれる同じ点に関連する対の他の画像の対応する画素を識別するステップと、
－ 画素のセットに基づいて点の三角測量を行って、三次元空間における点の位置を決定するステップと、
好ましくは、対の他方の画像の対応する画素を特定するステップは、対の画像を比較することにより視差マップを算出するステップを含み、さらに、３次元空間における点の位置を決定するステップは、点の三角測量において、視差マップに含まれる対の画像の対応する画素間の視差値を使用する。
－ 視野の同じ部分に含まれる同じ点に関連する対の他の画像の対応する画素を識別するステップと、
－ 画素のセットに基づいて点の三角測量を行って、三次元空間における点の位置を決定するステップと、
好ましくは、対の他方の画像の対応する画素を特定するステップは、対の画像を比較することにより視差マップを算出するステップを含み、さらに、３次元空間における点の位置を決定するステップは、点の三角測量において、視差マップに含まれる対の画像の対応する画素間の視差値を使用する。
【0016】
ＨＭＤスクリーンによって間隔を置かれた視点から取得された画像を利用することによって、以下のことが可能になる。
【0017】
一実施形態では、路面の一部を構成する三次元空間の三次元関心領域を推定するステップｃ．は、
－ 対の画像と、対の画像の取得時に測位モジュールによって決定された位置とに基づいて、路面の一部のおおよその位置を推定するステップと、
－ 第１のオフセット値を計算または選択するステップと、
－ 第２のオフセット値を計算または選択するステップと、
－ 三次元関心領域を、路面の一部のおおよその位置に第１のオフセット値を加えた高さに位置する第１の境界面と、路面の一部のおおよその位置から第２のオフセット値を引いた高さに位置する第２の境界面とによって区切られる空間として定義するステップと、
を含む。
－ 対の画像と、対の画像の取得時に測位モジュールによって決定された位置とに基づいて、路面の一部のおおよその位置を推定するステップと、
－ 第１のオフセット値を計算または選択するステップと、
－ 第２のオフセット値を計算または選択するステップと、
－ 三次元関心領域を、路面の一部のおおよその位置に第１のオフセット値を加えた高さに位置する第１の境界面と、路面の一部のおおよその位置から第２のオフセット値を引いた高さに位置する第２の境界面とによって区切られる空間として定義するステップと、
を含む。
【0018】
このようにして、（取得された画像から得られる）三次元空間内の路面に属する点を効果的に分離することができるフィルタを得るという結果を伴って、路面を含む関心領域を、計算上特に単純かつ高速な方法で決定することができる。
【0019】
好ましくは、三次元関心領域は拡張し、
－ ＨＭＤの位置から、車両の長手方向に平行な方向において、最小しきい値以上の距離から開始し、好ましくは、最小しきい値は、５ｍと１５ｍの間に含まれ、より好ましくは、最小しきい値は、１０ｍに等しく、
－ ＨＭＤの位置から、車両の長手方向に平行な方向において、最大閾値に等しいかそれ以下の距離まで、好ましくは最大閾値は５０ｍと１５０ｍの間に含まれ、より好ましくは最大閾値は１００ｍに等しい。
－ ＨＭＤの位置から、車両の長手方向に平行な方向において、最小しきい値以上の距離から開始し、好ましくは、最小しきい値は、５ｍと１５ｍの間に含まれ、より好ましくは、最小しきい値は、１０ｍに等しく、
－ ＨＭＤの位置から、車両の長手方向に平行な方向において、最大閾値に等しいかそれ以下の距離まで、好ましくは最大閾値は５０ｍと１５０ｍの間に含まれ、より好ましくは最大閾値は１００ｍに等しい。
【0020】
加えて又は代替的に、三次元関心領域は、車両の長手方向長さに横切る方向における路面の幅に実質的に対応する幅を有し、好ましくは、その幅は、３ｍと１２ｍとの間であり、より好ましくは、その幅は、６ｍに等しい。
【0021】
本出願人は、これらの値の間隔により、拡張現実画像の最適な位置決めを提供する方法の有効性を実質的に低下させることなく、方法の計算の複雑さを抑制することができると判断した。
【0022】
一実施形態では、平面表面を計算するステップｅ．は、Ｍ－エスティメータ・サンプル・コンセンサス（ＭＳＡＣ）タイプのアルゴリズムによって、三次元関心領域に含まれる視野の同じ部分の点のサブセットを精緻化するステップを含む。
【0023】
本出願人は、ＭＳＡＣタイプのアルゴリズムが、路面に対応する平面を計算する際に特に効率的で信頼性が高いと判断した。
【0024】
一実施形態では、システムは、車両内部に配置された少なくとも１つの基準要素をさらに備える。さらに、ＨＭＤ画面上に再現される各二次元画像は、三次元空間内の点の集合によって定義される仮想物体を表す。このような場合、本方法はさらに、
－ 位置決めモジュールによって決定された位置と、ＨＭＤのカメラによってフレーミングされた少なくとも１つの基準要素の位置に基づいて、ＨＭＤの位置を決定するステップと、
－ ＨＭＤの位置に基づいて、ＨＭＤの視野に含まれる空間に対応する視野空間を決定するステップと
－ 二次元画像として再現されるべき少なくとも一つの仮想オブジェクトが三次元空間に含まれる場合、ＨＭＤのスクリーン上に二次元画像を再現するステップｇ．と、
－ 位置決めモジュールによって決定された位置と、ステップｅ．で計算された平面の位置に基づいて、三次元空間の点の集合の各点を補正するステップと、
－ 仮想オブジェクトに関連する二次元画像を表示するスクリーン位置を、集合の正しい点に基づいて計算するステップと、
－ 画面位置でＨＭＤのディスプレイ上に二次元画像を再現するステップと、
を含む。
－ 位置決めモジュールによって決定された位置と、ＨＭＤのカメラによってフレーミングされた少なくとも１つの基準要素の位置に基づいて、ＨＭＤの位置を決定するステップと、
－ ＨＭＤの位置に基づいて、ＨＭＤの視野に含まれる空間に対応する視野空間を決定するステップと
－ 二次元画像として再現されるべき少なくとも一つの仮想オブジェクトが三次元空間に含まれる場合、ＨＭＤのスクリーン上に二次元画像を再現するステップｇ．と、
－ 位置決めモジュールによって決定された位置と、ステップｅ．で計算された平面の位置に基づいて、三次元空間の点の集合の各点を補正するステップと、
－ 仮想オブジェクトに関連する二次元画像を表示するスクリーン位置を、集合の正しい点に基づいて計算するステップと、
－ 画面位置でＨＭＤのディスプレイ上に二次元画像を再現するステップと、
を含む。
【0025】
好ましくは、３次元空間における点の集合の各点を補正することは、以下のステップを含む：
－ 各補正点を次のように計算する：
ｗｐ’＝ｗｐ－（ｗｐ－ｐ）・ｎ→、
ここで、ｗｐは点の座標、ｗｐ’は点の補正座標、ｐは平面上のＨＭＤの位置の投影、ｎ→は平面の法線ベクトルである。
－ 各補正点を次のように計算する：
ｗｐ’＝ｗｐ－（ｗｐ－ｐ）・ｎ→、
ここで、ｗｐは点の座標、ｗｐ’は点の補正座標、ｐは平面上のＨＭＤの位置の投影、ｎ→は平面の法線ベクトルである。
【0026】
仮想物体を定義する３次元空間の点を平面に基づいて再計算することにより、結果として得られる拡張現実の２次元画像は、路面に対して正確に位置決めされた仮想物体の知覚をユーザにもたらす。
【0027】
本発明の別の態様はで、運転支援システムが、
－ スクリーンと、該スクリーンの主長さ方向に沿って該スクリーンの反対側に配置された対のビデオカメラとを含むＨＭＤと、
－ 車両に搭載され、車両の位置を検出するように構成された測位モジュールと
－ 二次元画像として表示される仮想オブジェクトに関連付けられた少なくとも１セットの点が記憶されたメモリ領域と、
－ 測位モジュール、ＨＭＤに動作可能に接続され、上述した実施形態のいずれか１つによる方法を実施するように構成された処理ユニットと、
を含む。
－ スクリーンと、該スクリーンの主長さ方向に沿って該スクリーンの反対側に配置された対のビデオカメラとを含むＨＭＤと、
－ 車両に搭載され、車両の位置を検出するように構成された測位モジュールと
－ 二次元画像として表示される仮想オブジェクトに関連付けられた少なくとも１セットの点が記憶されたメモリ領域と、
－ 測位モジュール、ＨＭＤに動作可能に接続され、上述した実施形態のいずれか１つによる方法を実施するように構成された処理ユニットと、
を含む。
【0028】
このように構成されたシステムにより、本方法の考慮された実施形態について上述した利点を得ることが可能になる。
【図面の簡単な説明】
【0029】
【発明を実施するための形態】
【0030】
本発明は、非限定的な例として提供され、添付の図面に図示された特定の実施例を参照して以下に説明される。これらの図面は、本発明の異なる態様および実施形態を示し、異なる図面における構造、構成要素、材料、および／または同様の要素を示す参照数字は、適切な場合、同様の参照数字によって示される。
【0031】
本発明は様々な変更および代替構造の影響を受け得るが、特定の好ましい実施形態を図面に示し、以下に詳細に説明する。いずれにしても、本発明を図示された特定の実施形態に限定する意図はなく、逆に、本発明は、特許請求の範囲に定義された本発明の範囲内に入るすべての変更、代替、および同等の構造をカバーすることを意図していることを理解しなければならない。
【0032】
「例えば」、「等」、「又は」の使用は、特に断りのない限り、限定することなく非排他的な選択肢を示す。「含む」の使用は、特に断りのない限り、「含むが、これに限定されない」ことを意味する。
【0033】
図を参照すると、本発明の実施形態によるシステム１は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）またはＨＭＤ１０の名称で呼ばれる装着型スクリーンと、測位モジュール、例えばＧＮＳＳモジュール２０（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）と、ＧＮＳＳモジュール２０およびＨＭＤ１０に接続するように構成された処理ユニット３０と、１つまたは複数の基準要素、例えばＡｒＵｃｏ型マーカ４０とを備える。
【0034】
ＧＮＳＳモジュール２０は、定期的に、および／または要求に応じて、検出された位置に関する表示を提供するように構成される。例えば、ＧＮＳＳモジュール２０はＧＰＳナビゲータから構成され、ＧＮＳＳモジュール２０によって検出されたグローバルな位置、したがって車両５の位置を示す地理的座標のセットを提供するように構成される。好ましくは、ＧＮＳＳモジュール２０によって提供される座標セットは、上方から観察される車両５の中央部分（すなわち、その平面図に関する車両の中央部分）を参照する。
【0035】
ＨＭＤ１０は、ＨＭＤ１０を装着したユーザがスクリーン１１（図５ａおよび図６に模式的に示されている）を通して見ることができるように、透明および／または半透明のスクリーン１１から構成されている。さらに、ＨＭＤ１０は、ＨＭＤ１０を装着しているユーザの視野（ＦＯＶ）に存在するもの（以下、簡潔にするために「ＨＭＤ１０の視野ＦＯＶ」と呼ぶ（図２に模式的に図示））に重畳される画像をスクリーン１１上に表示するように構成され（例えば、適切な回路（図示せず）により構成され）、これにより、拡張現実効果を創出する。この目的のために、ＨＭＤ１０は、処理ユニット３０によって提供されるデータおよび／または命令に基づいて表示される画像を生成するように構成されたローカル処理ユニット１３を備えることができる。
【0036】
ＨＭＤ１０は、（図５ｃに概略的に示されるように）異なる視点から空間の実質的に同じ領域をフレーミングするように構成された対のカメラ１５を備える。有利には、ＨＭＤ１０のカメラ１５は、ＨＭＤ１０のスクリーン１１のフレームの反対側に配置される。換言すれば、対のカメラ１５は、スクリーン１１の主な長さ方向に沿って、好ましくはＨＭＤ１０を装着したユーザの目を結ぶ線に平行に、既知の一定の距離だけ互いに離れている。カメラ１５の各々は、ＨＭＤ１０のＦＯＶに実質的に対応する１つ以上の画像を取得するように構成される。
【0037】
処理ユニット３０は、マイクロコントローラ、マイクロプロセッサ、汎用プロセッサ（例えば、ＣＰＵ）および／またはグラフィックプロセッサ（例えば、ＧＰＵ）、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、メモリモジュール、処理ユニット３０の様々な構成要素にエネルギーを供給するための電源モジュール、および好ましくは、他の装置への接続および／または他のエンティティ（例えば、ＨＭＤ１０、ＧＮＳＳモジュール２０、リモートサーバなど）とのデータ交換のための１つまたは複数のインターフェースモジュールのうちの１つまたは複数から構成される。
【0038】
処理ユニット３０はまた、メモリ領域３１を具備し、および／またはメモリモジュール（図示せず）に接続され、このメモリ領域に、１つまたは複数の拡張現実オブジェクトＯＡ、すなわち仮想オブジェクトに関連する情報を記憶することができる。拡張現実オブジェクトＯＡの例は、停止空間ＯＡ１、最適軌道ＯＡ２、および仮想標識ＯＡ３（図２に模式的に図示）を含む。
【0039】
一実施形態では、少なくとも拡張現実オブジェクトＯＡは、専門用語で「ワールド点」と呼ばれる点の集合｛ｗｐ｝によって定義される。一般に、ワールド点｛ｗｐ｝の一般的なセットの各ワールド点は、３次元空間の座標のベクトルを含む。考慮される例では、ワールド点の集合｛ｗｐ｝は、グローバル参照系を通じて定義される三次元空間におけるそれぞれの拡張現実オブジェクトの形状を定義する。
【0040】
好ましくは、メモリ領域３１は、１つ以上の実オブジェクトＯＲに関する情報を記憶するように構成される。
【0041】
実オブジェクトＯＲの例としては、車両５が走行する道路ＯＲ０、横断歩道ＯＲ１、走行道路のカーブＯＲ２（図２に模式的に図示）、建物、記念碑、看板、文化的名所、ビューポイントなどが挙げられる。
【0042】
各実オブジェクトＯＲは、空間における実オブジェクトＯＲの位置を定義するグローバル参照系の座標セットに関連付けられている。
【0043】
１つまたは複数の拡張現実オブジェクトＯＡのワールド点の集合｛ｗｐ｝は、絶対的な用語で定義することができ、例えば、各ワールド点は、グローバル参照系の座標の集合に対応し、または、例えば、現実オブジェクトＯＲの座標の関数として関連付けられる。例えば、停止空間ＯＡ１のワールド点の集合｛ｗｐ１｝は、横断歩道ＯＲ１の座標の集合の関数として定義することができる。
【0044】
任意選択で、メモリ領域３１は、画像および／またはテキスト情報など、１つまたは複数の現実オブジェクトＯＲ拡張現実オブジェクトＯＡに関する１つまたは複数の追加情報を記憶するように構成される。
【0045】
好ましい実施形態では、処理ユニット３０は、車両５のオンボードセンサ（図示せず）によって提供されるデータ（例えば、速度、加速度、操舵角など）にアクセスするため、コンピューティング能力、ユーザインタ－フェスを利用するため、および／または車両５のオンボードコンピュータ（図示せず）の接続性を利用するために、慣性測定ユニット、すなわちＩＭＵ６、および／または処理ユニット３０が搭載された車両５のデータＢＵＳ５５（例えば、ＬＩＮ／ＣＡＮバス）に接続するように構成される。
【0046】
各マーカ４０は、フィデューシャルパターン（例えば、実質的に白または黒の画素からなるバイナリマトリックス）から構成され、これにより周囲の環境から容易に識別することができる。有利なことに、各マーカ４０のフィデューシャルパターンには、当該マーカ４０を一意に識別することを可能にする識別コードが含まれている。
【0047】
好ましくは、非限定的な態様ではあるが、マーカ４０は、マーカ４０のフィデューシャルパターンをバックライトで照らすように構成されたバックライトアセンブリ（図示せず）を含んでいてもよく、これにより、画像に基づいて、特にＨＭＤ１０のカメラ１５によって取得された画像の処理を通じて、マーカ４０およびそのフィデューシャルパターンの識別が容易になる。
【0048】
設置ステップでは、マーカ４０が車両５の乗客室５１内に配置され、主基準要素として動作し、好ましくは、可変数の副基準マーカ４０（図中の例では３つ）が乗客室内に配置され、副基準要素として動作することができる（ブロック１０１）。
【0049】
検討した例では、マーカ４０は、車両の乗客室５１内で、車両５のフロントガラス５３上、またはフロントガラス５３と連続する位置に配置されている。これにより、マーカ４０に対するＨＭＤ１０の向きと位置を特定することができ、したがって、ユーザが周囲の環境を観察する車両５のフロントガラス５３に対するＨＭＤ１０の向きと位置を特定することができる。これにより、ＨＭＤ１０の視野ＦＯＶを、車両５の乗客コンパートメント５１に対して、特にフロントガラス５３に対して決定することが可能になる。有利なことに、マーカ４０に対するＨＭＤ１０の位置および向きを特定することで、以下に説明するように、画像を表示するスクリーン１１の表示領域Ｒを決定することもできる。
【0050】
例えば、図示されているように運転位置が左側にある車両５を考慮すると、例示的な配置（ＨＭＤ１０の向きと位置を特に信頼性の高い方法で識別することを可能にする）には、フロントガラス５３の一方の左端の連続位置に第１のマーカ４０を配置すること、ユーザの位置に対して正面位置に（進路の視界を妨げないように）第２のマーカ４０を配置すること、およびフロントガラス５３の横方向の延長線に対して中央位置の連続位置に第３のマーカ４０を配置することが含まれる。
【0051】
（図１に概略的に示すように）車両５の客室５１内にシステム１を設置した後、較正手順１００にかける。較正手順１００は、アライメントステップとボアサイトステップを含む。
【0052】
アライメントステップでは、ＨＭＤ１０は、所定の運転姿勢を維持するユーザによって装着され、好ましくは、（例えば、図４ａに概略的に示すように）頭部、ひいてはＨＭＤ１０がフロントガラス５３を向く。対の画像ＩＬおよびＩＲが、実質的に同じ瞬間にカメラ１５を介して取得される（ブロック１０１）。好ましくは、画像ＩＬおよびＩＲのセットのシーケンスは、ＨＭＤ１０が同じ位置に保持されるか、または（例えば、ＨＭＤ１０を装着するユーザによって行われる通常の姿勢補正または変化による）ゆっくりと動かされる時間間隔の間に取得される。
【0053】
ＨＭＤ１０のスクリーンの側面にカメラ１５を配置すると、両方の画像ＩＬおよびＩＲは、ＨＭＤ１０の実質的に同じ視野ＦＯＶを再現するが、（図５ａ～図５ｃで理解できるように）異なる観察点ｆ１およびｆ２から観察される。
【0054】
カメラ１５の画像ＩＬおよびＩＲの各々は、マーカ４０を認識するために処理される（ブロック１０３）。例えば、マーカ４０に対応する輪郭が画像ＩＬおよびＩＲにおいて識別され、単一のマーカ４０は対応する基準パターンを識別することによって認識される。
【0055】
画像ＩＬおよびＩＲの各々において識別された各マーカ４０について、画像ＩＬおよびＩＲを取得したそれぞれのカメラ１５に関連付けられた基準系に関して相対位置および向きが計算される（ブロック１０５および図６）。好ましくは、各マーカ４０の位置は、各画像ＩＬ、ＩＲにおけるマーカ４０の中心点を求めることによって特定される。例えば、各画像ＩＬ，ＩＲにおけるマーカ４０の中心点の座標からなる位置ベクトルｔＬ，ｔＲが算出される。これに対して、各マーカ４０の向きは、まず、マーカ４０の表面を特定し、次に、ＨＭＤ１０の基準系に対するマーカ４０の表面の向きを特定することによって決定される。例えば、各画像ＩＬ，ＩＲにおけるマーカ４０の表面の回転角度からなる方位行列ＲＬ，ＲＲが計算される。
【0056】
次に、ＨＭＤ１０に関連する基準系、すなわち、ＨＭＤ１０を装着したユーザの視点を実質的に中心とする三次元基準系に関して、相対的な位置および向きが計算される（ブロック１０７）。好ましくは、各マーカ４０の組み合わされた位置および向きは、画像ＩＬおよびＩＲから開始して計算された各マーカ４０の位置および向きを三角測量することによって計算される。詳細には、一般的なマーカ４０の組み合わされた位置は、画像ＩＬおよびＩＲから開始して決定されたマーカ４０の中心点の位置からの三角測量によって計算される。同様に、一般的なマーカ４０の組み合わせの向きは、画像ＩＬとＩＲから開始して計算されたマーカ４０の表面の向きから三角測量によって計算される。すなわち、画像ＩＬと画像ＩＲから求めた位置ベクトルと方位行列のセット［ｔＬ，ＲＬ］と［ｔＲ，ＲＲ］を合成して、合成位置ベクトルと方位行列のセット［ｔＨＭＤ，ＲＨＭＤ］を求める。例えば、上述の三角測量操作は、Ｈａｒｔｌｅｙ， Ｒ． ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎ：”Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ” Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ｐ． ３１２， ２００３に従って実行される。
【0057】
マーカ４０がメインマーカとして選択される（ブロック１０９）。例えば、取得された画像ＩＬ及びＩＲにおいて最も視認性の良いマーカ４０、又は予め定義された識別コードを有するマーカ４０がメインマーカとして選択される。
【0058】
次に、各マーカ４０の位置と主マーカ４０の位置を結ぶ関係が計算される（ブロック１１１および図７）。好ましくは、マーカ４０間の関係は、回転変換演算、すなわち同次変換の行列演算によって定義される。
【0059】
較正手順１００のボアサイトステップは、ＧＮＳＳモジュール２０の位置とＨＭＤ１０の実際の位置との間の補償の法則を確立する。
【0060】
好ましい実施形態では、補償則は、基準マーカ４０に関連付けられた相対基準系とＧＮＳＳモジュール２０に関連付けられたグローバル基準系との間の回転変換関係を特定することによって定義される。
【0061】
図８Ａおよび図８Ｂを特に参照すると、最初に、車両５、特にＧＮＳＳモジュール２０は、所定の距離ｄに位置決めされ、ボアサイト対象物ＯＢ（例えば、実際の物理的対象物）に対して既知の向きで位置決めされる（ブロック１１３）。したがって、ボアサイト対象物ＯＢに関連するボアサイト位置ＰＢ（すなわち、グローバル基準系の座標セット）は既知である。本出願人は、システム１の正確なボアサイト計測を可能にするために、ボアサイト対象物ＯＢとして直線セグメントを使用できることを確認した。しかし、本出願人は、多角形および／または三次元の物体を使用することにより、ユーザがより簡単にボアサイトステップを完了できることを発見した。
【0062】
ＧＮＳＳモジュール２０によって測定されたボアサイト位置ＰＢと車両の位置ＰＶは、ＨＭＤ１０のスクリーン１１上に再現される対応する（二次元）ボアサイト（拡張現実）画像ＡＲＢを決定するために使用される（ブロック１１５）。
【0063】
好ましくは、ボアサイト画像ＡＲＢは、車両５のフロントガラス５３を通して見えるボアサイト対象物ＯＢに対応するような輪郭を有する。
【0064】
ボアサイト画像ＡＲＢのＨＭＤ１０のスクリーン１１上のスクリーン位置ＰＡＲ、すなわち、ボアサイト画像ＡＲＢを表示するために使用されるＨＭＤ１０のスクリーン１１のピクセルの座標は、対応するボアサイト拡張現実オブジェクトＯＡＢに関連付けられたワールド点｛ｗｐＢ｝のセットから出発して計算される。特に、ボアサイト用拡張現実オブジェクトＯＡＢは、ボアサイト用オブジェクトＯＢの仮想レプリカであり、そのワールド点｛ｗｐＢ｝のセットは、ＧＮＳＳモジュール２０によって提供される車両ＶＰの位置に基づいて定義される。
【0065】
ＧＮＳＳモジュール２０とＨＭＤ１０の位置が異なるため、一般に、ボアサイト画像ＡＲＢはボアサイト・オブジェクトＯＢに重畳されない。
【0066】
こうして、ボアサイト画像ＡＲＢは、ボアサイト画像ＡＲＢが、車両５のフロントガラス５３を通して見える、新しいスクリーン位置ＰＡＲ’－のボアサイト対象物ＯＢに重畳されるまで、ＨＭＤ１０のスクリーン１１に沿って並進される（ブロック１１７）。例えば、処理ユニット３０は、例えば処理ユニット３０のユーザインタフェース（図示せず）を介して、又は処理ユニットに接続されたデバイス（例えばＨＭＤ１０自体、又はパーソナルコンピュータ、スマートフォン、タブレット、車両５のオンボードコンピュータ等）のユーザインタフェースを介して、ユーザがボアサイト画像ＡＲＢを移動させることができるように構成され得る。
【0067】
従って、ボアサイト画像ＡＲＢとボアサイト対象物ＯＢとの間の重ね合わせをもたらすＨＭＤ１０のスクリーン１１上の並進は、ボアサイト画像ＡＲＢとボアサイト対象物ＯＢとの間の不一致またはオフセットを補償することができる補償則を決定するために処理される（ブロック１１９）。
【0068】
例えば、補償則は、ボアサイト画像ＡＲＢが対応するボアサイト拡張現実オブジェクトＯＡＢに関連するワールド点｛ｗｐＢ｝のセットと、ボアサイト対象物ＯＢに関連するボアサイト位置ＰＢとの間の回転変換関係に基づく補償行列によって定義することができる。
【0069】
言い換えれば、較正手順１００は、グローバル基準系の座標によって定義される周辺環境、グローバル基準系に対するＧＮＳＳモジュール２０によって提供される車両５の位置、画像ＩＬ、ＩＲが取得されるＨＭＤ１０の位置、およびＨＭＤ１０のカメラ１５によって撮影される車両５の乗客コンパートメントの位置（特に、フロントガラス５３）の間の関係を確立する。
【0070】
較正手順１００が完了すると、システム１は、それぞれが対応する拡張現実オブジェクトＯＡに対応する１つまたは複数の拡張現実画像ＡＲを、視野ＦＯＶで見えるものと統合するように、ＨＭＤ１０のスクリーン１１上にリアルタイムで再現することができる。
【0071】
特に、システム１は、拡張現実要素の動的表示の動作手順２００を実行し（図９に概略的に図示）、これは、最初に、マーカ４０に対するＨＭＤ１０の姿勢を決定することを提供する（ブロック２０１）。
【0072】
言い換えれば、各マーカ４０に対する各カメラ１５の姿勢の計算は、カメラ１５とマーカ４０との間の相対的な位置および向きを識別するために、カメラ１５を介して画像ＩＬおよびＩＲのセットを取得することによって実行され、続いて、これらの位置および向きが、較正手順１００の位置合わせステップ中に決定された関係を利用することによって、マーカ４０に対するＨＭＤ１０の位置および向きを決定するために組み合わされる。
【0073】
その後、または並行して、ＧＮＳＳモジュール２０を介して車両位置ＰＶが検出される（ブロック２０３）。 好ましくは、車両ＰＶの位置は、対の画像の取得と同時に検出され、さらに好ましくは、車両ＰＶの位置は、対の画像の取得と同時に検出される。
【0074】
このようにして、車両ＰＶの位置は、グローバル基準系に対するＨＭＤ１０の位置を決定するために、較正手順１００のボアサイトステップ中に定義された補償則を適用することによって修正される（ブロック２０５）。
【0075】
要約すると、操作手順２００のステップ２０３～２０５は、グローバル基準系に対するＨＭＤ１０の位置および向きをリアルタイムで確実に決定する。
【0076】
好ましくは、１つまたは複数の識別されたマーカ４０を使用して、画像が表示されるスクリーン１１の表示領域Ｒの形状および拡張を定義することができ、例えば、図４ａおよび図４ｂに概略的に示されるように）画像が、車両５のフロントガラス５３上またはフロントガラス５３を通して見える外部環境のオブジェクト上に重なって表示されるようにする（ブロック２０７）。
【0077】
グローバル基準系に対するＨＭＤ１０の位置および向きに基づいて、三次元空間ＶＯＬ、すなわちＨＭＤ１０の視野ＦＯＶ内に含まれる空間のボリュームが決定される（ブロック２０９）。好ましくは、三次元空間ＶＯＬ（図２に模式的に図示）は、所定の距離内に広がる。所定の距離は、例えば、ＨＭＤ１０の現在位置によって予め決定された距離（例えば、視野ＦＯＶの深さ）であって、ＩＭＵ６によって取得されたパラメータおよび／または車両５の速度および／または加速度などの車両５のセンサによって取得されたパラメータに基づいて変更される可能性がある距離である。
【0078】
その後、メモリ領域に記憶された１つまたは複数の拡張現実オブジェクトＯＡが三次元空間ＶＯＬ内に含まれる否かが検証される（決定ブロック２１１）。そうでない場合（ブロック２１１の出力ブランチＮ）、アクションは取られない。
【0079】
代わりに、１つまたは複数の拡張現実オブジェクトＯＡが三次元空間ＶＯＬ内に含まれる場合（ブロック２１１の出力ブランチＹ）、各拡張現実オブジェクトＯＡについて、ＨＭＤ１０を装着しているユーザがそれぞれのワールド点｛ｗｐ｝のセットの連続性において対応する拡張現実オブジェクトＯＡを見ることができるように、スクリーン１１上の対応するスクリーン位置ＡＰが計算される（ブロック２１３）。有利には、スクリーン位置ＡＰは、車両５の位置と、グローバル基準系の座標セットにおけるワールド点｛ｗｐ｝のセットの位置とに基づいて計算される。
【0080】
好ましい実施形態では、操作手順２００は、（図９のフロー図に示されるように）正確な位置決めサブ手順３００からなり、このサブ手順は、拡張現実オブジェクトＯＡを、ＨＭＤ１０および車両５のフロントガラス５３を通してユーザによって観察される周辺環境と最適に統合するように再現するように構成される。特に、サブ手順３００は、（ユーザによって知覚される）仮想オブジェクトＯＡとＨＭＤ１０を通して見ることができる路面ＯＲ０との間の最適な重ね合わせを得ることを可能にする。
【0081】
正確な位置決め手順３００は、ＨＭＤのカメラ１５によって取得された対の画像ＩＬ、ＩＲを使用して、好ましくは同じ瞬間に行う（ブロック３０１）。有利には、画像ＩＬ、ＩＲは、視野ＦＯＶおよび視野空間ＶＯＬを決定するための手順２００によって使用されるものと同じである。
【0082】
既に上記で考察したように、対の画像ＩＬ、ＩＲは、ＨＭＤ１０を装着した観察者に見える視野ＦＯＶの同じ部分をキャプチャする。言い換えれば、画像ＩＬの少なくとも一部は、画像ＩＲの対応する部分と重ね合わせ可能であり、その逆も同様である。
【0083】
特に、ＨＭＤ１０が車両５のフロントガラス５３に面している場合を考えると、取得された画像ＩＬ，ＩＲは、車両５の外部の環境、特に車両５の前方の路面ＯＲ０の一部を描写することになる。
【0084】
対の画像ＩＬ，ＩＲを処理することにより、互いに重ね合わせることができる部分に属する画像ＩＬ，ＩＲの各点（例えば各画素）の三次元空間における位置が推定され、いわゆるポイントクラウドＰＣが得られる（ブロック３０３および図１０）。すなわち、両画像ＩＬ，ＩＲに描かれた各点の三次元空間ＶＯＬ内の位置が推定される。
【0085】
一実施形態では、三次元空間における点の位置を推定することは、まず、対の画像ＩＬ，ＩＲの同じ点に対応する画素間の視差マップ（サブブロック３０３１）を他方に関して計算し、次に、例えば、対応する画素の対と視差マップによって識別される関連する視差値とから出発して各点を三角測量することによって、対応する画素の対（サブブロック３０３３）に基づいて両画像に描写される各点の三次元空間における位置を計算することを提供する。
【0086】
好ましい実施形態では、視差マップは、以下に記載されている内容に従って計算される。さらに、画像ＩＬ，ＩＲの点の三角測量は、以下に記載されている内容に従って計算される。Ｒ． Ｈａｒｔｌｅｙ， Ａ． Ｚｉｓｓｅｒｍａｎ， ”Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ” ＣＵＰ， Ｃａｍｂｒｉｄｇｅ， ＵＫ， ２００３， ｐ． ３１２．
【0087】
その後、路面ＯＲ０を構成する封じ込め空間ＶＣを推定することが想定されている（ブロック３０５）。
【0088】
考慮される実施形態では、路面ＯＲ０を構成する封じ込め空間ＶＣの推定は以下のように実施される。
【0089】
最初に、路面を識別し、上述の手順２００のステップを適用することによって、取得された画像ＩＬ，ＩＲから出発して、路面ＯＲ０の位置の第１の推定が実行される（サブブロック３０５１）。換言すれば、グローバル参照系においてそれぞれの座標セットが関連付けられた現実オブジェクトＯＲである三次元空間ＶＯＬ内に含まれる路面ＯＲ０の少なくとも一部に重畳された拡張現実オブジェクトＯＡの位置が推定される。換言すれば、拡張現実オブジェクトＯＡは、ブロック２１３に関連して説明した操作までの手順２００に従って、すなわち画像ＩＬ，ＩＲのセットと、画像ＩＬ，ＩＲの取得の連続性において検出された車両５の位置とに基づいて決定された路面ＯＲ０の位置の推定値に対応する。
【0090】
スプリアス要素の存在を制限するために、封じ込め空間ＶＣは、ＨＭＤ１０の位置から、車両５の移動方向に対して平行な方向、より一般的には、車両５の長手方向の長さに対して平行な方向において、例えば５ｍと１５ｍとの間、好ましくは１０ｍと等しい最小閾値以上の距離を有する三次元空間ＶＯＬの一部を含む。このようにして、車両５の客室内に関連する点群ＰＣの点およびフロントガラス５３を通して見える車両５の前方部分を除外することが可能であり、したがって、三次元空間ＶＯＬに含まれる。
【0091】
さらに、計算負担を軽減するために、封じ込め空間ＶＣは、ＨＭＤ１０の位置から、車両５の移動方向に対して平行な方向、より一般的には、車両５の長手方向の長さに対して平行な方向に、例えば５０ｍと１５０ｍとの間、好ましくは１００ｍと等しい最大閾値以下の距離を有する三次元空間ＶＯＬの一部を含む。
【0092】
有利なことに、封じ込め空間ＶＣはまた、例えば３ｍと１２ｍの間、好ましくは６ｍの間に含まれるような、路面の幅に実質的に対応する幅－車両５の移動方向およびその長手方向の長さに横方向の幅－を有する視界容積ＶＯＬの一部に限定される。
【0093】
封じ込め空間ＶＣは、路面ＯＲ０の推定位置Ｐ０（図１１ａおよび図１１ｂに模式的に示す）から計算される。空間ＶＣは、路面ＯＲ０の推定位置Ｐ０に平行な対の表面ＳＵおよびＳＢの間に含まれ、ＨＭＤ１０と路面ＯＲ０の考慮される部分との間の距離の最小閾値の連続性において、横断面ＳＴから平行な表面ＳＵおよびＳＢまで延びる。詳細には、対の平行面の上面ＳＵは、路面部分ＯＲ０の推定位置Ｐ０の各点のグローバル参照システムの座標の標高値に第１のオフセット値ＯＦＦ１を加算することによって決定される（サブブロック３０５３）。同様に、路面部分ＯＲ０の推定位置Ｐ０の各点のグローバル基準系の座標の標高値から第２のオフセット値ＯＦＦ２を減算することによって、対の路面の下面ＳＢが決定される（サブブロック３０５５）。
【0094】
好ましい実施形態では、第１のオフセット値ＯＦＦ１および第２のオフセット値ＯＦＦ２は、カメラ１５の特性および車両５の特性に対応し、それに基づいて決定される。詳細には、オフセット値ＯＦＦ１およびＯＦＦ２は、カメラの精度が高くなるにつれて、または同様に、カメラの光学収差などの非理想性が低くなるにつれて、減少する。さらに、オフセット値ＯＦＦ１およびＯＦＦ２は、車両５が移動中に受ける応力と、応力に対する車両５の応答とに直接依存する。例えば、車両５のサスペンションが硬いほど、移動中に車両５が経験するピッチングが小さくなり、その結果、ピッチングを補正するために必要なオフセットが小さくなる。
【0095】
続いて、封じ込め空間ＶＣ（ブロック３０７）に含まれる点群ＰＣの点のサブセットが決定される。言い換えれば、封じ込め空間ＶＣは、実際に路面ＯＲ０に属する可能性が最も高いポイントクラウドＰＣの点のサブセットを分離するように、ポイントクラウドＰＣをフィルタリングするように構成される。
【0096】
路面ＯＲ０に属する点群ＰＣの点のサブセットは、路面ＯＲ０に対応する平面ＲＳを計算するために処理される（ブロック３０９）。
【0097】
好ましい実施形態では、点群ＰＣの点のサブセットは、点群の三次元参照系で平面ＲＳを表現する数式を決定することを可能にするＭ－エスティメータ・サンプル・コンセンサス（ＭＳＡＣ）型のアルゴリズムによって処理される。好ましくは、平面ＲＳの数式は、以下の形式となる。
【0098】
αｘ＋βｙ＋γｚ＝δ， （１）
ここで、α、β、γ、δは、点群ＰＣの点のサブセットに基づいてＭＳＡＣ型アルゴリズムによって決定される係数である。
ここで、α、β、γ、δは、点群ＰＣの点のサブセットに基づいてＭＳＡＣ型アルゴリズムによって決定される係数である。
【0099】
例えば、ポイントクラウドの点のサブセットは、Ｐ．Ｈ．Ｓ． Ｔｏｒｒ， Ａ． Ｚｉｓｓｅｒｍａｎ： ”ＭＬＥＳＡＣ： Ａ Ｎｅｗ Ｒｏｂｕｓｔ Ｅｓｔｉｍａｔｏｒ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｅｓｔｉｍａｔｉｎｇ Ｉｍａｇｅ Ｇｅｏｍｅｔｒｙ”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌｕｍｅ ７８， Ｉｓｓｕｅ １， ２０００， ｐａｇｅｓ １３８－１５６に記載されているように処理される。
【0100】
続いて、拡張現実オブジェクトＯＡのワールド点｛ｗｐ｝のセットの各ワード点ｗｐが、平面曲面ＲＳに基づいて再計算される（ブロック３１１および図１３）。
【0101】
計算された平面ＲＳは、ＨＭＤ１０を介して表示される拡張現実オブジェクトＯＡの位置決めを補正するために使用される。特に、路面ＯＲ０に重畳して表示される拡張現実オブジェクトＯＡ－最適トラックＯＡ１および停止バンドＯＡ２など）は、平面ＲＳから開始して行われる補正のおかげで、ユーザの視野ＦＯＶ内の路面ＯＲ０に正しく重畳される。
【0102】
詳細には、路面ＯＲ０上に配置される拡張現実オブジェクトＯＡのワールド点｛ｗｐ｝のセットの一般的なワールド点ｗｐが与えられると、補正されたワールド点ｗｐ’が次のように計算される。
【0103】
ｗｐ’ ＝ ｗｐ － （ｗｐ － ｐ）・ｎ→、
ここで、ｐは平面上のＨＭＤ１０の位置の投影であり、ｎ→は平面の法線ベクトルである。
ここで、ｐは平面上のＨＭＤ１０の位置の投影であり、ｎ→は平面の法線ベクトルである。
【0104】
次に、正しいワールド点｛ｗｐ’｝のセットは、スクリーン１１上の対応する正しいスクリーン位置ＡＰ’を決定するために使用される（ブロック３１３）。したがって、手順２００のブロック２１５に関連して説明したステップにおいて、スクリーン上のスクリーン位置ＡＰ’の連続性において拡張現実（二次元）画像ＡＲが再現される。このようにして、ＨＭＤ１０を装着しているユーザは、それぞれの正しいワールド点｛ｗｐ’｝のセットの連続性において拡張現実オブジェクトＯＡを見る。
【0105】
したがって、各拡張現実オブジェクトＯＡについて、対応する拡張現実画像ＡＲが、対応する正しいスクリーン位置ＡＰ’においてＨＭＤ１０のスクリーン１１上に再現される（ブロック２１５）。好ましくは、各拡張現実画像ＡＲは、車両５のフロントガラス５３に重畳されたスクリーン１１の表示領域Ｒに含まれる場合に再現される。
【0106】
有利には、スクリーン１１上に再現される拡張現実画像ＡＲは、ＨＭＤ１０と、グローバル参照系における対応する拡張現実オブジェクトＯＡのワールド点｛ｗｐ｝のセットとの間の距離および相対位置に従ってスケーリングされ、方向付けられる。
【0107】
例えば、図１４を参照すると、ＨＭＤ１０を装着しているユーザが視野ＦＯＶ内のそれぞれのワールド点｛ｗｐ１－３｝のセットの連続性において各拡張現実オブジェクトＯＡ１－３を見るように、各拡張現実オブジェクトＯＡ１－３に対応する拡張現実画像ＡＲ１－３を再生するスクリーン１１上のスクリーン位置ＡＰ’１－３を計算するように提供される。
【0108】
特に、路面上に表示される２次元の拡張現実オブジェクトＯＡの場合、例えば、車両５が辿るべき軌道を示すストリップや停止線などである。本システムは、車両の移動方向と直交する方向に沿って拡張現実オブジェクトＯＡの第１の点のセットを生成し、拡張現実オブジェクトＯＡの範囲に達するまで、車両と平行な方向に点を並進させることを提供する。換言すれば、一旦、拡張現実オブジェクトＯＡの最初の点が推定平面上に「配置」されると、拡張現実オブジェクトＯＡは、平面上に投影されたその最初の点から正確に出発して、所望される所望の寸法（例えば、幅および長さ）、例えば、離隔位置または軌跡を投影するために－まで増大される。このようにして、（その頂点が平面上にあるので）拡張現実オブジェクトＯＡの全体が平面に属し、ユーザによって知覚される寸法が（投影エラーや歪みなしに）正確に所望の寸法であることが保証され得る。
【0109】
この手順２００は、車両５およびＨＭＤ１０の位置の時間的変化、したがって視野ＦＯＶおよび視野空間ＶＯＬの時間的変化の関数として、拡張現実画像の表示をリアルタイムで更新するように、ＨＭＤ１０の使用中に継続的に繰り返される。
【0110】
結論として、上記に提示された手順１００、および２００、ならびにサブ手順３００の組み合わせは、特に、ユーザによって装着されたＨＭＤ１０のスクリーン１１上に拡張現実画像を再現することによって、ユーザにリアルタイムの情報を提供するように構成された運転支援方法を形成する。
【0111】
しかしながら、上記の実施例は限定的な意味で解釈されてはならないことは明らかであり、このようにして考え出された本発明は、多数の修正および変形が可能である。
【0112】
例えば、同じ手順または異なる手順の１つまたは複数のステップを、互いに並行して、または上述した順序とは異なる順序に従って実行することができる。同様に、上述した手順の１つまたは複数から、１つまたは複数の任意の手順を追加または削除することができる。
【0113】
一実施形態では、Ｆ． Ａｂａｂｓａ， Ｍ． Ｍａｌｌｅｍ， ”Ｒｏｂｕｓｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ ２Ｄ Ｆｉｄｕｃｉａｌｓ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｒｅａｌ－Ｔｉｍｅ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ” Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ｃｏｎｔｉｎｕｕｍ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｉｎｄｕｓｔｒｙ， ｐａｇｅｓ ４３１－４３５， ２００４に記載されているものに基づくアルゴリズムによって、マーカ４０に対する各カメラ１５の姿勢、すなわち相対的な位置および向きを特定することができる。
【0114】
しかし、マーカ４０を使用せず、ＨＭＤ１０の位置と向きを代替手段、例えば、ユーザを撮影し、ＨＭＤ１０の位置と向きを検出するように構成された撮影システムによって決定する実施形態を実施することを妨げるものは何もない。
【0115】
追加的または代替的に、カメラのポーズを識別するように構成されたアルゴリズムは、Ｍａｄｊｉｄ Ｍａｉｄｉ， Ｊｅａｎ－Ｙｖｅｓ Ｄｉｄｉｅｒ， Ｆａｋｈｒｅｄｄｉｎｅ Ａｂａｂｓａ， Ｍａｌｉｋ Ｍａｌｌｅｍ： ”Ａ ｐｅｒｆｏｒｍａｎｃｅ ｓｔｕｄｙ ｆｏｒ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｖｉｓｕａｌ ｍａｒｋｅｒ－ｂａｓｅｄ ｔｒａｃｋｉｎｇ”， ｐｕｂｌｉｓｈｅｄ ｉｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ， Ｖｏｌｕｍｅ ２１， Ｉｓｓｕｅ ３， ｐａｇｅｓ ２６５－３７６， ｙｅａｒ ２０１０， ａｎｄ／ｏｒ ｉｎ Ｆｒａｎｃｉｓｃｏ Ｊ． Ｒｏｍｅｒｏ－Ｒａｍｉｒｅｚ， Ｒａｆａｅｌ Ｍｕｎｏｚ－Ｓａｌｉｎａｓ， Ｒａｆａｅｌ ＭｅｄｉｎＩＲＣａｒｎｉｃｅｒ： ”Ｓｐｅｅｄｅｄ Ｕｐ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｑｕａｒｅｄ Ｆｉｄｕｃｉａｌ Ｍａｒｋｅｒｓ ”がＩｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ， Ｖｏｌｕｍｅ ７６， ｙｅａｒ ２０１８に掲載された教唆に基づくことができる。
【0116】
一実施形態では、拡張現実画像ＡＲは、ソフトウェア製品ＭＡＴＬＡＢ（登録商標）”成され、Ｔｈｅ ＭａｔｈＷｏｒｋｓ， Ｉｎｃ．による２０１９年３月、バージョン９．０（リリースＲ２０１９ａ）用の「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｏｏｌｂｏｘ”リファレンス」改訂版に記載されているＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｏｏｌｂｏｘ”の関数「ｗｏｒｌｄＴｏＩｍａｇｅ」の類似のアルゴリズムを実装することによって、ワールド点｛ｗｐ｝のできるだけ多くのセットに対応するそれぞれのスクリーン位置ＰＡに表示されるように生成され得る。
【0117】
一実施形態では、手順２００は、ＨＭＤ１０のスクリーン１１上に再現される各拡張現実画像ＡＲを、たとえば、スケール、遠近法の変更などによって、ＨＭＤ１０の位置および対応する拡張現実オブジェクトＯＡのワールド点のセット｛ｗｐ｝の時間の関数としての変動の関数として、修正することを提供する。言い換えれば、対応する拡張現実オブジェクトＯＡがＨＭＤ１０を装着したユーザの三次元空間ＶＯＬ内に含まれるまで、各ワールド点ｗｐの追跡が提供される。
【0118】
一実施形態では、サブ手順３００は、路面の一部ＯＲ０上に配置されるべき拡張現実オブジェクトＯＡに関連する拡張現実画像ＩＲを生成するためだけに実施される。路面ＯＲ０上に重畳されていない拡張現実オブジェクトＯＡの場合、システム１は、サブ手続き３００を省略することを提供し、したがって、拡張現実画像は、位置ＡＰにおいてスクリーン上に直接再生される（すなわち、ブロック２１３からブロック２１５に切り替えられる）。
【0119】
別の実施形態では、サブ手続き３００は、位置が道路平面に対して垂直座標で表される拡張現実オブジェクトＯＡに関連する拡張現実画像ＩＲを生成するためだけに実施される。
【0120】
一実施形態では、路面ＯＲ０の推定は、ステップ２１３で位置ＡＰが計算された路面ＯＲ０に重畳して表示される同じオブジェクトＯＡまたはその一部を用いて実行される。
【0121】
有利には、オフセット値ＯＦＦ１およびＯＦＦ２は、既知のテスト条件を参照するポイントクラウドの路面に関連するすべての点から封じ込め空間ＶＣが含まれることが検証されるボアリグシングステップと同様の較正ステップにより、既知の条件下で較正される。好ましくは、オフセット値ＯＦＦ１およびＯＦＦ２は、車両５のデータバス５５を介して取得されるショックアブソーバの動作に関する情報に基づいて、車両５の移動中に動的に補正される。
【0122】
一実施形態では、手順２００および／またはサブ手順３００は定期的に繰り返される。好ましくは、手順２００および／またはサブ手順３００の反復の頻度は、ユーザの頭部の動きの頻度－ＨＭＤ１０のセンサによって、またはカメラ１５によって取得された画像のＦＯＶの変動によって測定される、および／または車両５の回転運動、すなわちロールおよびピッチングの関数として可変である。好ましくは、手順２００および／またはサブ手順３００の繰り返しの周波数は、３０Ｈｚ以上、好ましくは４０Ｈｚ以上である。
【0123】
追加的又は代替的に、手順２００及び／又はサブ手順３００の反復の周波数は、車両５の速度の関数として可変であり、例えば、車両５の速度が増加するにつれて増加する。
【0124】
一実施形態では、アライメントステップは、使用されるカメラ１５の特定の特性によってもたらされる変形及び／又は収差を補正するためのスケール値及び／又は補正係数を決定することを提供する。代替的または追加的に、ＨＤＭ１０に対する各マーカ４０の位置および計算された方位は、ノイズを除去するために経時的にフィルタリングすることができる。
【0125】
一実施形態では、アライメントステップは、後続の時間瞬間に取得された画像ＩＬとＩＲの対を分析することによって決定されたマーカ４０の各位置について、各マーカ４０の位置をメインマーカ４０にリンクする回転変換を計算することを提供する。各マーカ４０について計算された回転平行移動は、次に、メインマーカ４０に対する各マーカ４０の単一の回転平行移動が得られるように時間に平均化される。
【0126】
当然ながら、すべての詳細は、技術的に同等な他の要素に置き換えることができる。
【0127】
結論として、使用される材料、ならびに前述の装置、機器および端末の偶発的な形状および寸法は、それによって以下の特許請求の範囲の保護範囲を放棄することなく、特定の実装要件に従って任意である。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図6】
【図7】
【図8a】
【図8b】
【図9】
【図10】
【図11a】
【図11b】
【図12】
【図13】
【図14】
【国際調査報告】