特表 2023-552204 画像上に見える車両のヨー方向を表すための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-14

(54)【発明の名称】画像上に見える車両のヨー方向を表すための装置及び方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231207BHJP

   G06T 7/00 20170101ALI20231207BHJP

   G08G 1/16 20060101ALI20231207BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 650B

G08G1/16 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023533970

(86)(22)【出願日】2020-12-03

(85)【翻訳文提出日】2023-06-02

(86)【国際出願番号】 EP2020084554

(87)【国際公開番号】W WO2022117199

(87)【国際公開日】2022-06-09

(81)【指定国・地域】

(71)【出願人】

【識別番号】511312997

【氏名又は名称】トヨタ モーター ヨーロッパ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】ニコライ チュメリン

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181FF27

5H181LL09

5L096BA04

5L096FA02

5L096FA66

5L096FA67

5L096FA69

5L096HA05

(57)【要約】

画像上に見える車両のヨー方向を表すための装置及び方法は、車両（２０１）を囲む矩形のバウンディングボックス（２００）の画像内の位置を得るステップと、車両の第１の部分と車両の第２の部分とを分離する車両のコーナーに配置されるように構成された、バウンディングボックスの鉛直分割線（２０２）の位置を得るステップであって、第１の部分及び第２の部分が車両の前部、後部又は側部である、ステップと、バウンディングボックスに関連付けられた水平基準位置に対する、鉛直分割線に関連付けられた水平位置の符号付きの水平方向のシフトを決定するステップと、符号付きの水平方向のシフトを正規化して、車両の姿勢の表現に使用される値θを得るステップとを含む。

【特許請求の範囲】

【請求項1】

画像上に見える車両のヨー方向を表すための方法であって、
前記車両のヨー方向が例えばその後のトラッキングステップにおいて使用されるように構成され、
当該方法が、
前記車両（２０１）を囲む矩形のバウンディングボックス（２００）の前記画像内の位置を得るステップ（Ｓ０１）と、
前記車両の第１の部分と前記車両の第２の部分とを分離する前記車両のコーナーに配置されるように構成された、前記バウンディングボックスの鉛直分割線（２０２）の位置を得るステップ（Ｓ０２）であって、前記第１の部分及び前記第２の部分が前記車両の前部、後部又は側部であり、前記第１の部分及び前記第２の部分の少なくとも一方が前記画像上に見える、ステップ（Ｓ０２）と、
前記バウンディングボックスに関連付けられた水平基準位置に対する、前記鉛直分割線に関連付けられた水平位置の符号付きの水平方向のシフトを決定するステップ（Ｓ０３）と、
前記符号付きの水平方向のシフトを正規化して、前記車両のヨー方向の表現に使用される値θを得るステップ（Ｓ０４）と
を含む、方法。

【請求項2】

前記バウンディングボックスに関連付けられた前記水平基準位置が、前記バウンディングボックスの水平方向の中央（２０３）又は前記バウンディングボックスの一方の側面である、請求項１に記載の方法。

【請求項3】

前記鉛直分割線に関連付けられた位置が、前記第１の部分又は前記第２の部分の水平方向の中央（２０４）である、請求項１又は２に記載の方法。

【請求項4】

前記車両の姿勢の表現に使用される前記値θがθ＝ｄ／Ｗとして計算され、ここで、ｄが前記符号付きのシフトであり、Ｗが、例えば前記バウンディングボックスに関連付けられた正規化係数である、請求項１から３のいずれか１項に記載の方法。

【請求項5】

Ｗが前記バウンディングボックスの幅である、請求項５に記載の方法。

【請求項6】

前記ヨー方向の表現を使用して前記車両の姿勢を決定するステップを含む、請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記値θを使用して前記車両のヨー角を決定するステップを更に含む、請求項１から６のいずれか１項に記載の方法。

【請求項8】

ヨー角を決定するステップが、前記車両に関連付けられた所与のアスペクト比を使用することを含む、請求項７に記載の方法。

【請求項9】

前記ヨー角を決定するステップが、前記値θと、前記車両に関連付けられた前記アスペクト比とを入力として取る、前記ヨー角を近似する関数を決定することを含み、
この関数が、ヨー角の値を値θ及びアスペクト比に関連付ける一組の所与の点にフィッティングされた平面、又はヒューリスティックに構築された関数である、請求項８に記載の方法。

【請求項10】

一連の画像において車両のヨー方向をトラッキングするための方法であって、
前記一連の画像の各画像について、請求項１から９のいずれか１項に記載の方法によって得られる前記値θを決定することを含む、方法。

【請求項11】

画像上に見える車両のヨー方向を表すための装置であって、
前記車両のヨー方向が例えばその後のトラッキングステップにおいて使用されるように構成され、
当該装置が、
前記車両を囲む矩形のバウンディングボックスの前記画像内の位置を得るためのモジュール（４０３、４０５）と、
前記車両の第１の部分と前記車両の第２の部分とを分離する前記車両のコーナーに配置されるように構成された、前記バウンディングボックスの鉛直分割線の位置を得るためのモジュール（４０３、４０６）であって、前記第１の部分及び前記第２の部分が前記車両の前部、後部又は側部である、モジュール（４０３、４０６）と、
前記バウンディングボックスに関連付けられた水平基準位置に対する、前記鉛直分割線に関連付けられた水平位置の符号付きの水平方向のシフトを決定するためのモジュール（４０３、４０７）と、
前記符号付きの水平方向のシフトを正規化して、前記車両のヨー方向の表現に使用される値θを得るためのモジュール（４０３、４０８）と
を備える、装置。

【請求項12】

請求項１１に記載の装置を備える車両。

【請求項13】

コンピュータプログラムであって、
当該プログラムがコンピュータによって実行されるときに、請求項１から１０のいずれか１項に記載の方法のステップを実行するための命令を含む、コンピュータプログラム。

【請求項14】

コンピュータによって読み取り可能な記録媒体であって、
請求項１から１０のいずれか１項に記載の方法のステップを実行するための命令を含むコンピュータプログラムが記憶された、記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理の分野に関し、より正確には、画像上に見える車両の検出に関する。

【背景技術】

【0002】

車両に搭載されたカメラによって取得された画像上での車両の検出は、自動車のような車両を制御するための部分的に自律的な方法又は自律的な方法を改善するための重要な問題となってきている。車両の検出は、これらカメラによって取得された複数の連続する画像フレーム上で検出された車両のトラッキング（追跡）によって完了することが多い。

【0003】

現在、車両を検出してトラッキングするための信頼性高い技術が必要不可欠になってきている。

【0004】

また、近年では、機械学習技術（すなわちディープニューラルネットワーク）の使用が物体の検出及びトラッキングを容易にしている。

【0005】

車両を検出してトラッキングするためには、これら車両の位置及び方向の表現を使用する必要があり、位置及び方向は、これら車両の姿勢と呼ばれるものを形成する。これら表現は、座標、角度等のような一組の値を含む。例えば、表現は、現実世界の車両の位置及び方向を表すようにコンピュータプログラムにおいて使用されうるコンピュータ表現である。

【0006】

通常、演算負荷を制限するために、制限された数の変数を有する表現を使用することが望ましい。

【0007】

コンピュータビジョンでは、３Ｄ空間における物体の表現は、対象の物体を含む３Ｄバウンディングボリュームの便利な表現である３Ｄバウンディングボックス（３ＤＢＢ）を使用して行われることが多い。概して、３ＤＢＢは、九つの自由度（ＤＯＦ）、すなわち寸法／範囲（幅、高さ及び深さ）についての三つ、位置についての三つの座標（Ｘ、Ｙ、Ｚ）、及び方向についての三つの角度を有する。

【0008】

自動車用途の場合、対象の物体（例えば車両）は恐らく地表に位置しているため、地表に対する車両のロール角及びピッチ角をゼロと見なすことができ、ＤＯＦの数が二つだけ減少する。さらに、車両の３Ｄバウンディングボックスの底面は地表に属すると見なすことができ、別のＤＯＦを無視することが可能となる。このため、車両検出の文脈における３ＤＢＢについて、六つのみのＤＯＦを考慮することが有用である。

【0009】

文献「リーマン回帰及び分類ネットワークを使用した単眼物体方向推定」（Ｍａｈｅｎｄｒａｎ Ｓ．等、アーカイブプレプリント、アーカイブ：１８０７．０７２２６（２０１８））は３ＤＢＢについて６ＤＯＦのみを使用することを開示する。

【0010】

また、３Ｄの方向は、いくつかの異なる方法で、すなわち、オイラー角（方位角、仰角及びカメラの傾き、又はヨー、ピッチ及びロール）によって、軸角度によって、例えば、文献「Ｐｏｓｅｎｅｔ：リアルタイム６－ｄｏｆカメラの再位置調整のための畳み込みネットワーク」（Ｋｅｎｄａｌｌ Ａ．、Ｇｒｉｍｅｓ Ｍ．、コンピュータビジョンについてのＩＥＥＥ国際会議の議事録、２０１５）、文献「カメラの再位置調整のためのディープラーニングにおける不確実性のモデル化」（Ｋｅｎｄａｌｌ Ａ．、Ｃｉｐｏｌｌａ Ｒ．、ロボティクス及びオートメーションについての２０１６ＩＥＥＥ国際会議（ＩＣＲＡ）、ＩＥＥＥ、２０１６）、又は文献「ディープラーニングを用いたカメラ姿勢回帰のための幾何学的損失関数」（Ｋｅｎｄａｌｌ Ａ．、Ｃｉｐｏｌｌａ Ｒ．、コンピュータビジョン及びパターン認識についてのＩＥＥＥ会議の議事録、２０１７）に開示されるような四元数（追加の単位ノルム制約を有する四次元表現であるが、０°と３６０°との間の不快な遷移を回避する）によって表すことができる。

【0011】

典型的には、上述された文献「リーマン回帰及び分類ネットワークを使用した単眼物体方向推定」、文献「ディープラーニング及び幾何学を使用した３ｄバウンディングボックス推定」（Ｍｏｕｓａｖｉａｎ Ａ．等、コンピュータビジョン及びパターン認識についてのＩＥＥＥ会議の議事録、２０１７（７０７４－７０８２頁）、文献「マルチビュー、マルチクラスの物体姿勢推定のための統合フレームワーク」（Ｌｉ Ｃｈ．、Ｂａｉ Ｊ．、Ｈａｇｅｒ Ｇ．Ｄ．、コンピュータビジョンについての欧州会議（ＥＣＣＶ）の議事録、２０１８）、文献「Ｄｅｎｓｅｒｅｇ：実環境下での完全畳み込み密形状回帰」（Ａｌｐ Ｇｕｌｅｒ Ｒ．等、コンピュータビジョン及びパターン認識についてのＩＥＥＥ会議の議事録、２０１７）、及び文献「ビジョンとロボティクスとの融合：ＫＩＴＴＩデータセット」（Ｇｅｉｇｅｒ Ａ．等、ロボティクス研究の国際ジャーナル３２．１１（２０１３）：１２３１－１２３７）に記載されるように、車両の方向は、通常、ヨー角のみを使用して定義される。

【0012】

３Ｄ空間から２Ｄ空間への３ＤＢＢの投影を表現として使用することも提案されてきた。これら投影は２．５Ｄバウンディングボックス又は２．５ＤＢＢと呼ばれることが多い。例えば、文献「自動運転のための車両検出及び姿勢推定」（Ｎｏｖａｋ Ｌ． Ｄｉｓｓ．、修士論文、プラハのチェコ工科大学、２０１７、引用、２０１７）のセクション３．３では、２．５ＤＢＢは、七つの数字、すなわち「車の底部」の三つの境界線（左前部、右前部、左後部についてのＸ、Ｙ）によって表される。

【0013】

文献「Ｄｅｎｓｅｂｏｘ：ランドマークの位置特定とエンドツーエンドの物体検出との統合」（Ｌｉｃｈａｏ Ｈ．等、アーカイブプレプリント、アーカイブ：１５０９．０４８７４（２０１５））では、２．５ＤＢＢは車について八つのランドマーク（特定部分）で使用される。

【0014】

別の２．５ＤＢＢの方法が文献「自動運転のためのマルチビュー３Ｄ物体検出ネットワーク」（Ｃｈｅｎ Ｘ．等、ＩＥＥＥ ＣＶＰＲ、２０１７）に開示されている。このソリューションは、車両の視認可能な前部／後部と視認可能な側部との間で一つの矩形（又はバウンディングボックス）を二つに分離するために分割線を使用することを提案する。分割線のどちら側が車両の側部又は前部／後部であるかを示すためにバイナリ値が使用されるが、このソリューションは、トラッキングにおける不安定性を引き起こすので、不満足であることが発明者らによって観察された。実際、バイナリ値を使用することは、典型的には標準的な運転状況の場合のように、車両がほぼ一方の側から見られる状況（例えば後方からであって側部がほとんど見えないとき）において、分割線が一方の側から他方の側へジャンプすることを引き起こす可能性がある。

【0015】

上記のソリューションは、トラッキングを実行するのに複雑すぎ又は不安定であるので、満足のいく結果を提供しない。

【発明の概要】

【0016】

本開示は、画像上に見える車両のヨー方向を表すための方法であって、車両のヨー方向が例えばその後のトラッキングステップ（例えば車両のヨー方向のトラッキング）において使用されるように構成され、方法が、車両を囲む矩形のバウンディングボックスの画像内の位置を得るステップと、鉛直分割線が車両の第１の部分と車両の第２の部分とを分離する車両のコーナーに配置されるように構成された、バウンディングボックスの鉛直分割線の位置を得るステップであって、第１の部分及び第２の部分が車両の前部、後部又は側部であり、第１の部分及び第２の部分の少なくとも一方が画像上に見える、ステップと、バウンディングボックスに関連付けられた水平基準位置（例えばバウンディングボックスの中央）に対する、鉛直分割線に関連付けられた水平位置（例えば、車両の視認可能な第１の部分の中央、又は任意の側から測定された部分の３分の１）の符号付きの水平方向のシフトを決定するステップと、符号付きの水平方向のシフトを正規化して、車両のヨー方向の表現に使用される値θを得るステップとを含む、方法を提案することによって従来技術の一つ以上の欠陥を克服する。

【0017】

関連付けられるとは、分割線の水平位置と、例えばバウンディングボックスの位置（例えばバウンディングボックスのコーナーの位置又はバウンディングボックスの左端及び右端の位置）とを使用して水平位置を定義できることを意味する。また、水平基準位置は、バウンディングボックスの位置（例えばバウンディングボックスのコーナーの位置又はバウンディングボックスの左端及び右端の位置）を使用して定義されることができる。

【0018】

また、車両が画像上に見えるときには、二つの部分、例えば、前部及び側部、又は後部及び側部が視認可能となる。一つの部分のみが見えることもあり、この場合、一つの部分は、前部、後部又は側部のいずれか一つである。

【0019】

ヨー方向を使用して車両の姿勢の表現を表すことができる。姿勢のこの表現は、画像を取得するのに使用されるカメラの周りの空間における車両の位置を表す一組のデータである。車両を平面（例えば路面）上に配置されるように表すことが一般的であり、この場合、車両のロール方向及びピッチ方向が無視され、ヨー方向が車両の姿勢を記述するために必要な唯一の方向になる。

【0020】

本願の発明者らは、車両のトラッキングを実行するために、車両の視認可能なコーナー（右前部、左前部、右後部又は左後部のコーナー）の位置を示す分割線を搭載した単一のバウンディングボックスを使用できることを観察した。

【0021】

文献「自動運転のためのマルチビュー３Ｄ物体検出ネットワーク」に関した上述したようなバイナリ値を使用することの代わりに、本発明は、基準と、分割線に関連付けられた位置との間の符号付きのシフトを使用することを提案する。このことは、その後のフレームにおいて（すなわちトラッキングが実行されるときに）実行される検出を安定させるためにより多くの情報を得ることを可能とする。

【0022】

その後のトラッキングステップにおける入力として値θを使用することができる。実際、値θは、時間的フィルタリングが２．５ＤＢＢを使用してトラッキングを改善することが観察されたように、任意の時間的プロセス、例えば任意の時間的フィルタリングの使用を容易にする。

【0023】

正規化ステップによって、例えば車両のサイズ又はバウンディングボックスのサイズに依存しないθの値を得ることが可能となることに留意されたい。

【0024】

加えて、正規化は値θを無単位にする。

【0025】

特定の実施形態によれば、バウンディングボックスに関連付けられた水平基準位置はバウンディングボックスの水平方向の中央又はバウンディングボックスの一方の側面である。

【0026】

この位置は、車両がほぼ前方又は後方から見られるときのような危機的状況においてあまり変化しない信頼性高い位置であることが観察された。

【0027】

特定の実施形態によれば、鉛直分割線に関連付けられた位置は第１の部分又は第２の部分の水平方向の中央である。

【0028】

特定の実施形態によれば、車両の姿勢の表現に使用される値θはθ＝ｄ／Ｗとして計算され、ここで、ｄは符号付きのシフトであり、Ｗは、例えば（バウンディングボックスのコーナーの位置又はバウンディングボックスの左端及び右端の位置を使用して定義される）バウンディングボックスに関連付けられた正規化係数である。

【0029】

特定の実施形態によれば、Ｗはバウンディングボックスの幅である。

【0030】

ｄ及びＷの両方が同一の単位で測定されるので、θは無単位である。

【0031】

特定の実施形態によれば、方法は、ヨー方向の表現を使用して車両の姿勢を決定するステップを含む。

【0032】

特定の実施形態によれば、方法は、値θを使用して車両のヨー角を決定するステップを更に含む。

【0033】

このヨー角はあらゆる車両のディープラーニングベースの検出方法において使用されてその訓練を改善することができる。

【0034】

また、値θは、車両のアスペクト比（幅／長さ）の知識に基づいて、又は複数の車両について満足する所定のアスペクト比に基づいてヨー角の値に変換される。

【0035】

特定の実施形態によれば、ヨー角を決定するステップは、車両に関連付けられた所与のアスペクト比を使用することを含む。

【0036】

特定の実施形態によれば、ヨー角を決定するステップは、値θと、車両に関連付けられたアスペクト比とを入力として取る、ヨー角を近似する関数を決定することを含み、この関数は、ヨー角の値を値θ及びアスペクト比に関連付ける一組の所与の点にフィッティングされた区分線形関数、又はヒューリスティックに構築された関数である。

【0037】

本発明は、一連の画像において車両のヨー方向をトラッキングするための方法であって、一連の画像の各画像について、上記のような方法によって得られる値θを決定することを含む、方法も提供する。

【0038】

本発明は、画像上に見える車両のヨー方向を表すための装置であって、車両のヨー方向が例えばその後のトラッキングステップにおいて使用されるように構成され、装置が、車両を囲む矩形のバウンディングボックスの画像内の位置を得るためのモジュールと、車両の第１の部分と車両の第２の部分とを分離する車両のコーナーに配置されるように構成された、バウンディングボックスの鉛直分割線の位置を得るためのモジュールであって、第１の部分及び第２の部分が車両の前部、後部又は側部である、モジュールと、バウンディングボックスに関連付けられた水平基準位置（例えばバウンディングボックスの中央）に対する、鉛直分割線に関連付けられた水平位置（例えば車両の視認可能な第１の部分の中央）の符号付きの水平方向のシフトを決定するためのモジュールと、水平方向のシフトを正規化して、車両のヨー方向の表現に使用される値θを得るためのモジュールとを備える、装置も提案する。

【0039】

この装置は上記のような方法のいずれかの実施形態を実行するように構成される。

【0040】

本発明は、上記のような装置を備える車両も提供する。

【0041】

一つの特定の実施形態では、方法のステップがコンピュータプログラムの命令によって決定される。

【0042】

したがって、本発明は、コンピュータプログラムであって、このプログラムがコンピュータによって実行されるときに上記のような方法のステップを実行するためのコンピュータプログラムも対象とする。

【0043】

このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、部分的にコンパイルされた形態のようなソースコードとオブジェクトコードとの中間のコード、又はその他の所望の形態を取ることができる。

【0044】

本発明は、上記のようなコンピュータプログラムの命令を含むコンピュータ読み取り可能な情報媒体も対象とする。

【0045】

情報媒体は、プログラムを記憶可能な任意の実体又は装置である。例えば、媒体は、ＲＯＭ、例えば、ＣＤＲＯＭ若しくはマイクロエレクトロニクス回路ＲＯＭ、又は磁気記憶手段、例えばディスケット（フロッピディスク）若しくはハードディスクのような記憶手段を含むことができる。

【0046】

代替的に、情報媒体は、プログラムが組み込まれた集積回路であってもよく、集積回路は当該方法を実行し又は当該方法の実行に使用されるようになっている。

【図面の簡単な説明】

【0047】

【図1】図１は、従来技術の方法において分割線を使用することに関連する困難さを示す。

【図2】図２は、一例において用いられるシフトの測定を示す。

【図3】図３は、一例による方法のステップの概略図である。

【図4】図４は、一例による車両である。

【発明を実施するための形態】

【0048】

本開示の特徴及び利点は、添付の図面を参照して、限定ではなく例示のみを目的として与えられる本開示の特定の実施形態の以下の説明から明らかになるだろう。

【0049】

以下、画像上に見える車両のヨー方向の表現を得ることが説明され、ヨー方向の表現は、例えば、この車両の姿勢を表し又は表現するために使用されうる。この姿勢は、画像を取得したカメラに対するものであり、車両の画像内の位置及び方向、又は車両のカメラに対する空間内の位置及び方向についての情報を含む。

【0050】

典型的には、画像を取得したカメラは別の車両に埋め込まれている。

【0051】

また、ヨー方向の決定は、車両のトラッキングを実行することを可能とする。このトラッキングは、この姿勢の経時的な旋回（evolution）を決定することを含む。

【0052】

図１は、従来技術の方法、特に文献「自動運転のためのマルチビュー３Ｄ物体検出ネットワーク」の方法の操作を示す。この図では、２つの異なる検出時間Ｔ１及びＴ２が表されている。

【0053】

第１の検出時間Ｔ１において、バウンディングボックス１００は、カメラによって取得された画像上に見える車両１０１を囲むように決定される。車両１０１に対するバウンディングボックス１００の寸法及び位置の決定は、当業者に公知の態様でディープニューラルネットワークのような機械学習方法を使用して行うことができる。

【0054】

さらに、文献「自動運転のためのマルチビュー３Ｄ物体検出ネットワーク」の方法を使用して、車両の視認可能な前部／後部と視認可能な側部とを分離する分割線１０２の位置（ここでは水平位置）が決定される。

【0055】

最初の検出線Ｔ１において、分割線はバウンディングボックスの左側にあると判定される。しかしながら、車両の位置、典型的にはカメラを搭載した車両の前方の車両の位置を考慮すると、分割線の位置を決定することは困難である。

【0056】

分割線のどちら側が前方／後方であるかを示すためにバイナリ値を使用すると、車両を後方／前方から見た状況において分割線が左側と右側との間でジャンプするようになることが観察された。例えば、時間Ｔ２において、分割線１０２はバウンディングボックスの右側に移動する。

【0057】

この不安定性は、車両の姿勢のトラッキングを実行するときに有害である。

【0058】

代わりに、本開示は、図２に示されるように、測定された符号付きのシフトに基づいて計算された値を導入することを提案する。この図では、画像上に見える車両２０１を囲むように矩形のバウンディングボックス２００の位置が求められる。バウンディングボックスの位置とは、画像上の寸法及び配置、又は画像上の各コーナーの位置を意味する。

【0059】

鉛直分割線２０２の位置は、車両の第１の部分と車両の第２の部分とを分離する車両のコーナーにあるように得られ且つ構成され、車両の第１の部分及び第２の部分は車両の前部、後部又は側部のいずれかである。図示された例では、第１の部分は、車両の前部であり、灰色で表現され、一方、第２の部分は車両の左側部である。

【0060】

好ましくは、第１の部分は車両の前部又は後部であり、第２の部分は車両の左側部又は右側部である。実際には、１つ又は２つの部分が通常視認可能であり、二つが視認可能である場合、それは、常に、前部及び右側部、前部及び左側部、後部及び右側部、並びに後部及び左側部から成る群から選択されるペアである。

【0061】

一例によれば、提案される方法は、さらに、バウンディングボックス内の基準水平位置の位置、すなわち中央位置２０３と、第１の部分（ここでは車両の前方部分が見える部分）の中央２０４とを得る。

【0062】

バウンディングボックス及び分割線の位置は、画像内の車両を（バウンディングボックスとして）検出するように訓練されたディープネットワークを使用して得ることができる。ディープニューラルネットワークを訓練して分割線の位置を予測することも可能である。

【0063】

上述された位置は、鉛直線に関連付けられた水平位置であることに留意されたい。

【0064】

このことは、第１の部分の中央位置に対するバウンディングボックスの中央位置２０３の符号付きのシフトｄを決定することを可能とする。

【0065】

次いで、この符号付きのシフトの正規化を実行して、バウンディングボックス２００の幅Ｗを用いて、θ＝ｄ／Ｗとして計算される値θを得ることができる。

【0066】

次いで、この値θを、車両のヨー方向の表現において、その後のトラッキングステップにおいて、更には時間フィルタリングステップにおいても使用することができる。

【0067】

この値θを使用することによって、車両が前方又は後方から見られたときに分割線が一方の側から他方の側にジャンプすることが防止されることが観察された。

【0068】

図３において、画像上に見える車両のヨー方向を表すための方法のステップが概略的に表される。

【0069】

これらステップは、図４を参照して以下に説明される装置のような装置によって実行されうる。典型的には、プロセッサを搭載した装置がこの方法を実施することができる。

【0070】

これらステップは、例えば別の車両に埋め込まれたカメラによって取得された画像に対して実行される。この画像は図２の車両のような車両を示す。

【0071】

第１のステップＳ０１では、バウンディングボックス２００のようなバウンディングボックスの位置が得られる。このステップは、ニューラルネットワークのような機械学習技術を使用して実行されうる。

【0072】

第２のステップＳ０２では、分割線２０２の位置を得ることが実行される。このステップも、機械学習技術を使用して実行されうる。

【0073】

次いで、ステップＳ０３において符号付きのシフトｄが決定される。このステップは計算ステップである。

【0074】

次いで、ステップＳ０４において、上述された式θ＝ｄ／Ｗを使用して値θを計算することができる。

【0075】

本方法は、θの時間的フィルタリングと、（θ、バウンディングボックスの位置及び分割線の位置を使用する）車両のヨー方向又は姿勢のその後のトラッキングステップとを更に含んでもよいことに留意されたい。加えて、直線のヨー（linear yaw）（又は車両のアスペクト比が知られている場合には角度のヨー（angular yaw））を決定することができる。

【0076】

例えば、値θは、車両の（例えばラジアン単位で測定される）実際のヨーφ角を推定するのに用いられうる。φを正確に推定するためには、車両のアスペクト比α＝ｗ_ｖ／ｌ_ｖが必要であり、ここで、ｗ_ｖは車両の実際の幅であり、ｌ_ｖは車両の実際の長さである（いずれもピクセルではなくメートルで測定される）。提案される方法はアスペクト比αの正確な値に敏感ではないので、アスペクト比を近似的に提供することができる。例えば、バウンディングボックス及び分割線を提供する同一の車両検出器を使用して車両のタイプ（すなわち、ロング／ショートの乗用車、トラック、バス等）からαを「推測」することができる。ヨー角関数φ（θ，α）を推定／近似するために、二つの代替案が提案される。第１の代替案は線形化（linearization）に基づく。所望の関数φ（θ，α）は、固定のカメラ構成（カメラ解像度及び視野）を用いて合成的にランダムに生成された車両のバウンディングボックスを使用して計算された一組の三次元点

【数1】

（例えばＮ＝３２７６８）にフィッティングされた区分線形面φ＝φ_１（θ，α）によって近似される。これらランダムに生成されたデータでは、各バウンディングボックスについての対象のパラメータ（車両のヨー角φ、車両のアスペクト比α及びθ）の全てが設計により既知である。

【0077】

第２の代替案は解析的な近似に基づく。所望の関数φ（θ，α）は、解析的な関数

【数2】

によって近似され、ここで、ｐ（ｃ_１，ｃ_２）＝ｍａｘ（１，ｃ_１／ｍｉｎ（１，α））^ｃ２である。関数φ_{ｃ１，ｃ２}（θ，α）はヒューリスティックに（heuristically）構築されることができ、そのパラメータ（例えば、ｃ_１＝０．８４９５９２及びｃ_２＝０．９２４６９４）は、

【数3】

として定義されるフィッティング誤差を最小化することによって数値的に推定されうる。

【0078】

パラメータｃ_１及びｃ_２は異なるカメラについて変化する可能性があることに留意されたい。

【0079】

図４は、図３を参照して開示された方法のような方法を実施するように構成された装置４０１を搭載した車両４００を示す。

【0080】

この車両は、車両が走行している道路の画像を取得するように構成されたカメラ４０２を更に備え、カメラ４０２は、典型的には、図２に見られる車両２０１のような道路上に存在する他の車両の画像を取得する。

【0081】

装置４０１は、プロセッサ４０３と、カメラ４０２によって取得された画像に対して上述の方法を実施するためのコンピュータ命令を含む不揮発性メモリ４０４とを備える。

【0082】

より正確には、コンピュータ命令は、プロセッサ４０３によって実行されるときにステップＳ０１を実行する命令４０５と、プロセッサ４０３によって実行されるときにステップＳ０２を実行する命令４０６と、プロセッサ４０３によって実行されるときにステップＳ０３を実行する命令４０７と、プロセッサ４０３によって実行されるときにステップＳ０４を実行する命令４０８とを含む。

【0083】

命令４０５～４０８はプロセッサ４０３と組み合わせて装置４０１のモジュールを形成する。

【0084】

本発明が特定の具体的な実施形態を参照して上述されてきたが、本発明が具体的な実施形態の詳細に限定されないことが理解されるだろう。添付の特許請求の範囲の範囲内で、上述された実施形態において、多くの変形、修正及び発展がなされうる。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】