特許 6620153 サラウンドビュー画像から自動車のエゴモーションを推定するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6620153

(24)【登録日】2019年11月22日

(45)【発行日】2019年12月11日

(54)【発明の名称】サラウンドビュー画像から自動車のエゴモーションを推定するための方法および装置

(51)【国際特許分類】

   G06T 7/277 20170101AFI20191202BHJP

   G06T 3/00 20060101ALI20191202BHJP

   G08G 1/16 20060101ALI20191202BHJP

【ＦＩ】

   G06T7/277

   G06T3/00 700

   G08G1/16 C

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2017-530610(P2017-530610)

(86)(22)【出願日】2016年1月19日

(65)【公表番号】特表2018-506768(P2018-506768A)

(43)【公表日】2018年3月8日

(86)【国際出願番号】EP2016050937

(87)【国際公開番号】WO2016131585

(87)【国際公開日】20160825

【審査請求日】2018年8月28日

(31)【優先権主張番号】15155191.8

(32)【優先日】2015年2月16日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】514176952

【氏名又は名称】アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】ゲレイロ・ルイ

(72)【発明者】

【氏名】パナコス・アンドレアス

(72)【発明者】

【氏名】シルバ・カルロス

(72)【発明者】

【氏名】ヤータヴ・デヴ

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１１−０７０５８０（ＪＰ，Ａ）

【文献】 特開２０１２−２２７９１３（ＪＰ，Ａ）

【文献】 特開２００４−０５６７６３（ＪＰ，Ａ）

【文献】 特開２０１１−０１３９７８（ＪＰ，Ａ）

【文献】 特開２００１−２６６１６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両のエゴモーションを決定する方法であって、
フロントビューカメラの第１の連続画像シーケンス、レフトサイドビューカメラの第２の連続画像シーケンス、ライトサイドビューカメラの第３の連続画像シーケンス、及びリアビューカメラの第４の連続画像シーケンスを記録すること、
第１の連続画像シーケンス、第２の連続画像シーケンス、第３の連続画像シーケンス、及び第４の連続画像シーケンスを統合して統合画像シーケンスを得ること、
アフィン投影を使用して統合画像シーケンスの画像の地平面へのバーチャル投影を行うことにより、投影画像シーケンスを得ること、
投影画像シーケンスに基づきオプティカルフローであって、車両の周囲対象物体の運動ベクトルを含むオプティカルフローを決定すること、
オプティカルフローに基づき車両のエゴモーションを決定すること、
エゴモーションに基づき自動車の運動学的状態を予測すること、
車両のロール運動及びピッチ運動を減算又は補償することにより車両のエゴモーションのベクトルを補正すること
を含む方法。

【請求項2】

エゴモーションの決定が、
オプティカルフローから瞬間曲率中心周りの車両の角速度を導出すること、
導出した角速度を使用して車両の速度を導出することを含む、請求項１に記載の方法。

【請求項3】

エゴモーションの決定が、対象物体の以前の位置、対象物体に対する以前の相対速度、及び瞬間曲率中心周りの回転に対する角速度から対象物体の現在の位置ベクトル及び対象物体に対する現在の相対速度を導出することを含む、請求項１又は請求項２に記載の方法。

【請求項4】

エゴモーションの決定が、
アッカーマンステアリングモデルを使用して車輪速度及び操舵角から瞬間曲率中心周りの車両の角速度を導出すること、
決定したエゴモーションと車両の角速度を増分姿勢更新において統合することを含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

エゴモーションの決定が、
オプティカルフローから運動ベクトルを導出すること、
ＲＡＮＳＡＣ手順を運動ベクトルに適用することを含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

エゴモーションの決定が、
オプティカルフローから運動ベクトルを導出すること、
オプティカルフローの運動ベクトルからエゴモーションのベクトルを導出すること、
将来の車両の位置を予測するために予測フィルターをエゴモーションのベクトルに適用することを含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

予測フィルターへの入力が、エゴモーションの１つ以上のベクトル及び１つ以上の運動センサの値から導出される、請求項６に記載の方法。

【請求項8】

地面レベルにない物体に対応する画像領域を検出し、検出された画像領域をマスクアウト又は無視することを含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

請求項１から８のいずれか一項に記載の方法を実行するためのコンピュータープログラム。

【請求項10】

自動車用エゴモーション検出システムであって、
計算ユニットであって、フロントビューカメラからデータを受信するための第１の入力接続部、ライトサイドビューカメラからデータを受信するための第２の入力接続部、レフトサイドビューカメラからデータを受信するための第３の入力接続部、リアビューカメラからデータを受信するための第４の入力接続部を備える計算ユニットであり、
フロントビューカメラから第１の連続画像シーケンスを、レフトサイドビューカメラから第２の連続画像シーケンスを、ライトサイドビューカメラから第３の連続画像シーケンスを、リアビューカメラから第４の連続画像シーケンスを得、
第１の連続画像シーケンス、第２の連続画像シーケンス、第３の連続画像シーケンス、及び第４の連続画像シーケンスを統合して統合画像シーケンスを得、
アフィン投影を使用して統合画像シーケンスの地平面にバーチャル投影することにより、投影画像シーケンスを得、
投影画像シーケンスに基づきオプティカルフローであって、車両の周囲の対象物体の運動ベクトルを含むオプティカルフローを決定し、
オプティカルフローに基づき車両のエゴモーションを決定し、
車両のロール運動及びピッチ運動を減算又は補償することにより車両のエゴモーションのベクトルを補正し、
エゴモーションに基づき自動車の運動学的状態を予測する処理ユニットを備える計算ユニットを備える、システム。

【請求項11】

第１の入力に接続されたフロントビューカメラ、第２の入力に接続されたライトサイドビューカメラ、第３の入力に接続されたレフトサイドビューカメラ、及び第４の入力に接続されたリアビューカメラを備える、請求項１０に記載のエゴモーション検出システム。

【請求項12】

フロントビューカメラが自動車の前側に設置され、ライトサイドビューカメラが自動車の右側に設置され、レフトサイドビューカメラが自動車の左側に設置され、リアビューカメラが自動車の後側に設置される、請求項１１に記載のエゴモーション検出システムを備えた自動車。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、ドライバー支援システムに関する。

【背景技術】

【0002】

先進ドライバー支援システム（ＡＤＡＳ）は、安全でより良好な運転のために車両システムを自動化し強化するために開発されたシステムである。多くのドライバー支援システムが、自動車の位置、向きおよび運動状態に関する情報を使用し、様々な方法でドライバーを支援する。この情報は、車両を自律的に走行させるために使用されてもよい。

【0003】

とりわけ、ビジュアルオドメトリを使用して自動車の位置を決定することができる。ビジュアルオドメトリのためのシステムにおいては、カメラを使用して入力画像を記録し、画像補正が適用される。特徴物が検出され、特徴物は画像フレームを横断して照合されて、例えば相関を使用して２つの画像間の対応を確立することにより、特徴物の抽出と相関により、またはルーカス・カナデ法を使用してオプティカルフロー場を構築することにより、オプティカルフロー場が構築される。オドメトリエラーが検出され、対応するアウトライアが除去され、例えばカルマンフィルターを使用して、または特徴物の幾何学的特性に基づく費用関数を最小化することにより、カメラ運動がオプティカルフローから推定される。

【0004】

特許文献１は、つなぎ合わせたバーチャル上方視点画像を生成するマルチカメラ上方視点視覚システムを開示する。

【0005】

非特許文献１〜１２は本明細書の主題に関連し、本願に引用して援用する。

【0006】

非特許文献１、２、３は、エゴモーションの文脈において使用可能な車両運動学のモデルを説明する。

【0007】

Ｓｔｅｉｎらの非特許文献４は、車両のエゴモーションがモデル化された道路と一致する単一カメラアプリケーションを提案する。２つの画像における画像特徴物は、窓問題に対処するための全体的制約を導入するグローバル確率関数において結合される。

【0008】

Ｂａｒｒｅｔｏらの非特許文献５は、中心反射屈折光学系を使用したロボット運動の視覚制御を記載し、ロボットの関節速度を画像観察に結びつけるヤコビ行列を提示する。提示される解は、最小二乗問題として扱われるが、実際には拡張カルマンフィルターにおいて使用可能な状態ベクトルを定義する。

【0009】

Ａｌｅｊａｎｄｒｏらの非特許文献６は、低コストＧＰＳと傾斜計を使用した屋外自立航法に使用されるアッカーマンステアリング車両のためのローカリゼーションスキームを研究するものである。彼らは、車両の姿勢とセンサバイアスの推定に拡張カルマンフィルターを使用している。

【0010】

Ｐｉｎｋらの非特許文献７は、視覚的特徴を使用した車両の姿勢推定および運動追跡のための方法を提示する。彼らは、初期の車両姿勢を想定し、次いで、画像データを唯一の入力として使用し、時間の経過と共に地理的座標においてその姿勢を追跡する。彼らは、アッカーマンモデルに基づいて車両位置を追跡している。

【0011】

Ｃｈｅｄａらの非特許文献８は、ＡＤＡＳの状況下で単眼カメラからエゴモーションを推定することを研究するものであり、非線形アルゴリズムと線形のアルゴリズムの性能を比較している。

【0012】

Ｌｅｅらの非特許文献９は、自走式自動車用の視覚エゴモーション推定アルゴリズムを提示する。彼らは、一般化されたカメラとしてマルチカメラシステムをモデル化し、自動車の非ホロノミックな運動拘束を適用する。

【0013】

Ｍａｒｃｏらの非特許文献１０は、オプティカルフローからの構造および運動の推定のための制約付き最小化問題の定式化を提供する。彼は、レベンバーグ・マーカート法および直接投影による最適化問題の解も提示する。

【0014】

Ｄａｎ Ｓｉｍｏｎの非特許文献１１は、異なるモデルに重み付けをするためにカルマンフィルターの更新フェーズが再公式化される多重モデル推定方法を３０１ページ、１０．２節で提案している。

【0015】

ＰｏｗｅｒおよびＳｃｈｏｏｎｅｓの非特許文献１２は、ガウス混合モデル（ＧＭＭ）アルゴリズムと期待値最大化に対する近似を記述する
本明細書によると、車両のエゴモーションが、ワールド座標系としても知られる環境の固定座標系に対するカメラの３Ｄ運動として定義される。更に、エゴモーションは、三次元ワールド座標系の所与の平面における二次元の運動も意味する。このエゴモーションは、「２Ｄエゴモーション」とも呼ばれる。

【0016】

本明細書によると、エゴモーションはオプティカルフローから算出される。オプティカルフローは、カメラとシーンとの相対関係によって引き起こされる画像の見掛けの運動であり、「シーン」とは、車の周囲の物体を意味する。

【0017】

本明細書による方法は、ステアリング幾何学のアッカーマンモデルを使用して車両運動を記述し、増分姿勢更新をフレームワークとして使用して複数の車両姿勢の取得源を統合する。

【0018】

オプティカルフローは、画像シーケンスの画像フレームにおいて検出される特徴物を使用して算出され、次いで連続するフレームにおいて照合される。この情報を使用してそうした２つの画像フレーム、または連続画像において検出された特徴物のためのオプティカルフロー場を生成する。連続画像は、三次元シーンの「ビューポート平面」とも呼ばれる二次元平面への投影である。

【0019】

道路のモデルを使用してオプティカルフローの推定を単純化してもよい。道路は単純な平面構造を形成し、前方への並進、ピッチおよびヨーという３つの支配的パラメータのみで提示することができる。しかし、本明細書によると、エゴモーションは、道路モデルを使用せずとも十分な精度で推定することもできる。

【0020】

第２のアプローチによると、ホーン・シャンク法を使用してオプティカルフローを推定する。窓問題を解決するために全体的制約が導入され、アウトライアを除去するために道路モデルがフロー場に当てはめられる。

【0021】

本明細書によると、サラウンドビューシステムの４台カメラ機構を使用してサラウンドビューが生成され、４台のカメラの画像が、街路レベルを表し「トップダウンビュー」とも呼ばれる地平面への単一の投影へと統合される。

【0022】

２Ｄエゴモーションは、トップダウンビューのアフィン投影から計算される。フロー場のアウトライア、例えば測定誤差や移動物体のベクトルは、適切な手順、例えばＲＡＮＳＡＣを使用してフィルターにかけて除去される。

【0023】

投影図はサラウンドビューの地平面へのアフィン投影であり、奥行きと縮尺情報とを提供する事前較正を使用して解釈される。これに代え、またはこれに加え、構造が運動アルゴリズムから再構築され、これにより観察されたシーンの明示的再構築がなされることで、物体距離の推定値が提供される。

【0024】

一実施形態によると、運動は、時間の経過と共に一貫した位置が得られるようにフィルター処理される。追跡プロセスが一貫性移動モデルを用いて車両の実際の位置を推定する。本明細書によると、アッカーマンステアリング幾何学を備える車両を表すためにアッカーマンステアリングモデルを移動モデルとして使用する。

【0025】

更なる実施形態によると、アッカーマンモデルが複数のオドメトリ測定装置、例えばＧＰＳ測定装置、車両センサ等と組み合わされる。

【先行技術文献】

【特許文献】

【0026】

【特許文献1】米国特許公開第２０１４／０２４７３５２号明細書

【非特許文献】

【0027】

【非特許文献1】Ｒｅｚａ Ｎ．Ｊａｚａｒ、「Ｖｅｈｉｃｌｅ Ｄｙｎａｍｉｃｓ Ｄｙｎａｍｉｃｓ：Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ」、Ｓｐｒｉｎｇｅｒ、１９／０３／２００８。

【非特許文献2】Ｔｈｏｍａｓ Ｄ．Ｇｉｌｌｅｓｐｉｅ、「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｖｅｈｉｃｌｅ Ｄｙｎａｍｉｃｓ」、Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ、１９９２。

【非特許文献3】Ａｌｏｎｚｏ Ｋｅｌｌｙ、「Ｅｓｓｅｎｔｉａｌ Ｋｉｎｅｍａｔｉｃｓ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ」、Ｒｏｂｏｔｉｃｓ Ｉｎｓｔｉｔｕｔｅ、Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ、１９９４。

【非特許文献4】Ｇｉｄｅｏｎ Ｐ．Ｓｔｅｉｎ、Ｏｆｅｒ Ｍａｎｏ、Ａｍｎｏｎ Ｓｈａｓｈｕａ．「Ａ Ｒｏｂｕｓｔ Ｍｅｔｈｏｄ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｖｅｈｉｃｌｅ Ｅｇｏｍｏｔｉｏｎ」、ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ、２０００。

【非特許文献5】Ｊｏａｏ Ｐ．Ｂａｒｒｅｔｏ、Ｆｒｅｄｅｒｉｃｋ Ｍａｒｔｉｎ、Ｒａｄｕ Ｈｏｒａｕｄ．「Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ／Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｃｅｎｔｒａｌ Ｃａｔａｄｉｏｐｔｒｉｃ Ｉｍａｇｅｓ」、Ｉｎｔ．Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｒｏｂｏｔｉｃｓ、Ａｄｖａｎｃｅｄ Ｒｏｂｏｔｉｃｓ Ｓｅｒｉｅｓ、２００２。

【非特許文献6】Ａｌｅｊａｎｄｒｏ Ｊ．ＷｅｉｎｓｔｅｉｎおよびＫｅｖｉｎ Ｌ．Ｍｏｏｒｅ、「Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ａｃｋｅｒｍａｎ Ｓｔｅｅｒｉｎｇ Ｖｅｈｉｃｌｅｓ ｆｏｒ Ｏｕｔｄｏｏｒｓ Ａｕｔｏｎｏｍｏｕｓ Ｎａｖｉｇａｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｄｕｓｔｒｉａｌ Ａｕｔｏｍａｔｉｏｎ、Ｖａｌｐａｒａｉｓｏ、Ｃｈｉｌｅ、２０１０年３月。

【非特許文献7】Ｏｌｉｖｅｒ Ｐｉｎｋ、Ｆｒａｎｋ Ｍｏｏｓｍａｎｎ、Ａｌｅｘａｎｄｅｒ Ｂａｃｈｍａｎｎ、「Ｖｉｓｕａｌ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｖｅｈｉｃｌｅ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ＥｇｏＭｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ」、Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍの議事録、２００９ ＩＥＥＥ。

【非特許文献8】Ｄ．Ｃｈｅｄａ、Ｄ．Ｐｏｎｓａ、Ａ．Ｍ．Ｌｏｐｅｚ、「Ｃａｍｅｒａ Ｅｇｏｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｉｎ ｔｈｅ ＡＤＡＳ Ｃｏｎｔｅｘｔ」、Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ、２０１０。

【非特許文献9】Ｇｉｍ Ｈｅｅ Ｌｅｅ、Ｆｒｉｅｄｒｉｃｈ Ｆｒａｕｎｄｏｒｆｅｒ、Ｍａｒｃ Ｐｏｌｌｅｆｅｙｓ、「Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｓｅｌｆ−Ｄｒｉｖｉｎｇ Ｃａｒｓ ｗｉｔｈ ａ Ｇｅｎｅｒａｌｉｚｅｄ Ｃａｍｅｒａ」、ＣＶＰＲ、２０１３。

【非特許文献10】Ｍａｒｃｏ Ｚｕｃｃｈｅｌｌｉ、Ｊｏｓｅ Ｓａｎｔｏｓ−Ｖｉｃｔｏｒ、Ｈｅｎｒｉｋ Ｉ．Ｃｈｒｉｓｔｅｎｓｅｎ、「Ｃｏｎｓｔｒａｉｎｅｄ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ Ｏｐｔｉｃａｌ Ｆｌｏｗ」、ＩＣＰＲ ２００２。

【非特許文献11】Ｄａｎ Ｓｉｍｏｎ、「Ｏｐｔｉｍａｌ Ｓｔａｔｅ Ｅｓｔｉｍａｔｉｏｎ：Ｋａｌｍａｎ、Ｈ Ｉｎｆｉｎｉｔｙ ａｎｄ Ｎｏｎｌｉｎｅａｒ Ａｐｐｒｏａｃｈｅｓ」、Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ、２００６。

【非特許文献12】Ｐ．Ｗａｙｎｅ Ｐｏｗｅｒ、Ｊｏｈａｎｎ．Ａ Ｓｃｈｏｏｎｅｓ、「Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｂａｃｋｇｒｏｕｎｄ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ ｆｏｒ Ｆｏｒｅｇｒｏｕｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ ２００２。

【発明の概要】

【発明が解決しようとする課題】

【0028】

第１の態様において、本明細書は、自動車、例えば乗用車、実用車またはミニバスのエゴモーションを決定する方法を開示する。

【課題を解決するための手段】

【0029】

フロントビューカメラは、第１の連続画像シーケンスを記録し、レフトサイドビューカメラは、第２の連続画像シーケンスを記録し、ライトサイドビューカメラは第３の連続画像シーケンスを記録し、リアビューカメラは第４の連続画像シーケンスを記録する。第１、第２、第３および第４の画像シーケンスはそれぞれ、少なくとも２つの連続画像を含む。

【0030】

画像シーケンスは、自動車の計算ユニットに転送される。計算ユニットは、第１の連続画像シーケンス、第２の連続画像シーケンス、第３の連続画像シーケンス、および第４の連続画像シーケンスを統合して統合画像シーケンスを得る。統合画像は、所与の時点における車両周囲のサラウンドビューまたは３６０°ビューに対応する。

【0031】

好ましくは、それぞれの画像および隣り合うカメラの視野は、少なくとも部分的に重なり合っている。一例として、画像は、個々の画素に基づいて輝度値を照合すること、すなわち画素の輝度を相互に関連付けることにより、統合することができる。更なる実施形態によると、より高レベルの特徴物、例えば隣り合うカメラからの画像のコントラストまたは輝度勾配の高い線またはエッジまたは領域が互いに照合される。単純な実施形態においては、画像はカメラの視野、位置および向きに照らして統合される。

【0032】

統合された画像シーケンスの画像、またはその断片は、アフィン投影または変換を使用して地平面に投影され、それにより投影画像シーケンスが提供される。更に、投影画像シーケンスに基づいて二次元オプティカルフローが決定される。オプティカルフローは、車両の周囲の対象物体の運動ベクトルを含む。特定の一実施形態によると、時間的に連続する２つの投影画像を比較することにより所与の時点におけるオプティカルフローが提供される。

【0033】

車両のエゴモーションは、オプティカルフローに基づく。特に、車両のエゴモーションは、第１および第２の時点の投影画像を比較し、周囲の物体に対応する画素または画素群が移動した量を決定することによって導出される。本出願によると、エゴモーションは、サラウンドビューシステムの個々のカメラ画像またはサラウンドビューシステムの全カメラの統合画像から導出することができる。

【0034】

車両の運動学的状態、例えば位置、速度または動きが、車両のエゴモーションに基づいて決定される。運動学的状態は、一例としては、自動車の以前の位置、固定座標系、周囲の物体、または瞬間曲率中心に対して決定される。

【0035】

一実施形態によると、エゴモーションの導出は、オプティカルフローから瞬間曲率中心周りの車両の角速度を導出すること、および導出した角速度を使用して車両の速度を導出すること、特に、アッカーマンステアリングモデルを使用して地平面に平行な平面における車両の重心の速度を導出することを含む。

【0036】

特定の一実施形態によると、エゴモーションの決定は、対象物体の以前の位置、対象物体に対する以前の相対速度、および車両のヨー運動に対する瞬間曲率中心周りの回転に対する角速度を使用して、地平面上の対象物体の現在の位置ベクトルおよび対象物体に対する現在の相対速度を導出することを含む。

【0037】

更なる実施形態によると、アッカーマンステアリングモデルを使用して、車輪速度および操舵角から瞬間曲率中心周りの車両のヨー運動の角速度を導出する。特に、得られた角速度は、増分姿勢更新において導出されたエゴモーションと統合することができ、予測フィルター、例えばカルマンフィルターへの更なる入力として使用することができる。あるいは、他のフィルター、例えば再帰二重最小二乗推定器または二重指数平滑化フィルターまたは他の平滑化フィルター、例えばデジタル信号処理用の様々なタイプの低域通過フィルターも使用し得る。

【0038】

本明細書の実施形態によると、様々な取得源、例えば導出した車両エゴモーション、車両センサ、およびＧＰＳシステムから得られる車両の運動学的状態は、同じ予測フィルターへの入力として使用されるか、異なる予測フィルターへの入力として使用され、結果として得られる異なる予測フィルターの出力が組み合わされて車両の運動学的状態の推定値が形成される。

【0039】

更なる実施形態によると、車両運動の様々な取得源は、確率的フレームワークにおいて統合することができる。以前の測定を前提として各取得源について正確である確率が決定される。次いで、最も正確な取得源を用いて姿勢が更新される。一実施形態において、車両運動の様々な取得源は、ガウス混合モデルにおいて混合される。

【0040】

一実施形態によると、エゴモーションをオプティカルフローから導出することは、オプティカルフローの運動ベクトルまたはエゴモーションベクトルであり得る運動ベクトルにランダムサンプルコンセンサス（ＲＡＮＳＡＣ）手順を適用することを含む。ＲＡＮＳＡＣ手順は、予測フィルター、例えばカルマンフィルターを適用する前および／または適用した後に適用してもよい。ＲＡＮＳＡＣ手順によると、モデルが回帰によってデータのサブセットに当てはめられ、モデルに対するデータインライアを測定することによりモデルの質が評価される。このプロセスは、解が所定の統計的有意性を有するようになるまで繰り返される。

【0041】

一例として、最小データ項目を含むサンプルサブセットが、第１のステップにおいて入力データセットからランダムに選択される。当てはめモデルおよび対応するモデルパラメータが、このサンプルサブセットの要素のみを使用して計算される。サンプルサブセットのサイズは、モデルパラメータを決定できる範囲で最小である。第２のステップにおいて、アルゴリズムは、全データセットのどの要素が第１のステップから得た推定モデルパラメータによってインスタンス化されたモデルと一致するかチェックする。データ要素は、ノイズの影響に起因する最大偏差を定義する一定の誤差閾値内の一組の推定モデルパラメータによってインスタンス化された当てはめモデルに当てはまらない場合、アウトライアとみなされる。

【0042】

一実施形態によると、エゴモーションの決定は、オプティカルフローから個々の対象物体の運動ベクトルを導出すること、すなわち、オプティカルフローの運動ベクトルから平均運動ベクトルとも呼ばれるエゴモーションのベクトルを導出することを含む。予測フィルター、例えばカルマンフィルターが、エゴモーションの将来のベクトルを予測するためにエゴモーションのベクトルに、または車両の位置を追跡するために車両の将来の位置に適用される。

【0043】

特定の実施形態において、予測フィルターへの入力は、エゴモーションの１つ以上のベクトルおよび運動センサの値、例えば車輪速度センサ、加速度センサ、およびＧＰＳシステム出力から導出される。更なる実施形態によると、地面レベルに位置していない物体に対応する画像領域が検出され、検出された画像領域は無視されるか、マスクアウトされる。

【0044】

更なる態様によると、本明細書は、コンピュータープログラム製品、例えば、永続的メモリ、例えばメモリスティック、ハードディスクあるいはＤＶＤ、または揮発性メモリ、例えばコンピューターＲＡＭ内の実行可能なファイルを開示する。実行可能なファイルまたは実行可能なコードは、プロセッサのプログラムメモリにロードされると処理ユニットに前述の方法のうちの１つを実行させる。

【0045】

更なる態様によると、本明細書は、自動車用エゴモーション検出システムを開示する。エゴモーション検出システムは、計算ユニットであって、フロントビューカメラからデータを受信するための第１の入力接続部、ライトサイドビューカメラからデータを受信するための第２の入力接続部、レフトサイドビューカメラからデータを受信するための第３の入力接続部、およびリアビューカメラからデータを受信するための第４の入力接続部を有する計算ユニットを備える。

【0046】

この４つの入力接続部は、例えば、それぞれのカメラからの画像データが短時間毎に交互に送信される場合、または交互にデータの塊として送信される場合、単一の入力接続部によって実現されてもよい。特に、カメラデータは、データバスのケーブルを介して送信されてもよい。

【0047】

計算ユニットは、フロントビューカメラから第１の連続画像シーケンスを、レフトサイドビューカメラから第２の連続画像シーケンスを、ライトサイドビューカメラから第３の連続画像シーケンスを、リアビューカメラから第４の連続画像シーケンスを、それぞれの入力接続部を介して得るように作動する処理ユニット、例えばコンピューターメモリを備えるマイクロプロセッサを備える。

【0048】

更に、カメラまたは複数のカメラは、基本的な画像処理のためのカメラ処理ユニットを備えてもよい。カメラ処理ユニットは、エゴモーション計算を行うメイン処理ユニットとは異なる。

【0049】

更に、処理ユニットは、第１の連続画像シーケンス、第２の連続画像シーケンス、第３の連続画像シーケンス、および第４の連続画像シーケンスを統合して統合画像シーケンスを得ると共に、アフィン投影を使用して統合画像シーケンスまたはその断片の画像を地平面にバーチャル投影することにより投影画像シーケンスを得るように作動する。

【0050】

ここで、バーチャル投影とは、投影の変換アルゴリズムに従い第１のメモリ領域の内容を第２のメモリ領域の内容にマッピングする操作を意味する。

【0051】

更には、処理ユニットは、投影画像シーケンスに基づきオプティカルフローを決定し、オプティカルフローに基づき車両のエゴモーションを決定し、エゴモーションに基づき自動車の運動学的状態を予測するように作動する。オプティカルフローは、車両の周囲の対象物体の運動ベクトルを含む。

【0052】

更に、本明細書は、第１の入力に接続されたフロントビューカメラ、第２の入力に接続されたライトサイドビューカメラ、第３の入力に接続されたレフトサイドビューカメラ、および第４の入力に接続されたリアビューカメラを備える前述のエゴモーション検出システムを開示する。

【0053】

更には、本明細書は、前述のエゴモーション検出システムを備える自動車または動力車を開示し、フロントビューカメラは自動車の前側に設置され、ライトサイドビューカメラは自動車の右側に設置され、レフトサイドビューカメラは自動車の左側に設置され、リアビューカメラは自動車の後側に設置される。

【0054】

本明細書の主題を以下の図に関して更に説明する。

【図面の簡単な説明】

【0055】

【図1】サラウンドビューシステムを備える自動車を図示する図

【図2】図１の自動車の、瞬間回転中心周りの自動車運動を図示する図

【図3】図１のサラウンドビューシステムで記録された像点の地平面への投影を図示する図

【図4】図３の地平面への投影を更に詳細に図示する図

【図5】自動車のエゴモーションを導出する手順を示す図

【発明を実施するための形態】

【0056】

以下の記載では、本明細書の実施形態を説明するための詳細が提供される。しかし、そのような詳細なしに実施形態が実施し得ることは、当業者には明らかである。

【0057】

図１は、サラウンドビューシステム１１を備える自動車１０を示す。サラウンドビューシステム１１は、フロントビューカメラ１２、ライトサイドビューカメラ１３、レフトサイドビューカメラ１４、およびリアビューカメラ１５を備える。カメラ１１〜１４は、図１では図示しないコントローラのＣＰＵに接続されている。コントローラは、更なるセンサおよびユニット、例えば速度センサ、操舵角センサ、ＧＰＳユニット、ならびに加速度センサおよび向きセンサに接続されている。

【0058】

図２は、自動車の１０の自動車運動を図示する。自動車のホイールベースＢとホイールトラックＬが表示されている。自動車１０は、車両の４輪全てが瞬時回転の円の接線方向を向くように、操舵可能な前輪の向きが調節されるアッカーマンステアリング幾何学に従って設計されている。瞬間曲率中心「ＩＣＣ」は、距離Ｒのところで自動車の１０の後車軸と一致している。ただし、Ｒはヨー移動に対する自動車の瞬時回転半径である。

【0059】

二次元の車両座標系が表示されており、これは、自動車の基準点に固定され自動車の縦軸および横軸に沿って整列されている。車両座標系に対する瞬間曲率中心の相対位置が、ベクトル

【0060】

【数1】

【0061】

によって表示されている。

【0062】

図２によるアッカーマンステアリング幾何学においては、後内輪と瞬時曲率中心と前内輪の間の角度αは、前内輪の操舵角αに等しい。ここで、「内輪」とは、曲率中心に近い側のそれぞれの車輪を意味する。地平面に対する前内輪の相対運動が、文字ｖで表示されている。

【0063】

図３は、像点の地平面１６への投影を示す。垂直に対する相対的な傾斜角θは、ライトサイドビューカメラ１３の画像センサ上の像点の位置から推定することができる。像点が道路の特徴物に対応する場合、対応する物点の位置は地平面への像点の投影である。図３の例では、カメラ１３は地平面からの高さがＨである。その結果、対応する物点は、自動車１０の右側からＨ＊ｃｏｓ（θ）の距離に位置する。

【0064】

一実施形態によると、車両は、一定加速度モデルと１ステップ手順とを使用して追跡され、時刻ｋ＊Δｔにおける自動車位置ｘ＿ｋおよび自動車速度ｖ＝ｄ／ｄｔ（ｘ＿ｋ）の値がそれ以前の時刻（ｋ−１）＊Δｔにおける位置および速度それぞれの値を使用し、等式

【0065】

【数2】

【0066】

または

【0067】

【数3】

【0068】

によって時間単位に対して予測される。ただし、Δｔ＝１である。ここで、

【0069】

【数4】

【0070】

は、自動車１０に固定された図２の車両座標系に対する自動車の相対位置であり、自動車１０の位置

【0071】

【数5】

【0072】

は、それぞれ時刻ｋ＊Δｔ、（ｋ−１）＊Δｔの時点で評価され、車両座標系の位置は、時刻（ｋ−１）＊Δｔの時点で評価される。

【0073】

基準点における自動車速度は、瞬間曲率中心に対する基準点の相対位置と現在の角速度から、

【0074】

【数6】

【0075】

によって導出することができる。ただし、

【0076】

【数7】

【0077】

は瞬間回転のベクトルであり、

【0078】

【数8】

【0079】

は車両座標系に対する瞬間曲率中心の相対位置である。等式（３）による関係は、等式（２）、（２ａ）において使用される。等式（１）〜（２ａ）においては、ベクトルの矢印は読みやすいように省略されている。

【0080】

「ワールド座標系」としても知られる固定基準座標系に対する車両の相対位置Ｘ＿ｋ’は、ベクトルＸ＿ｋと基準座標系に対する車両座標系の相対位置Ｒから導出される。一例として、車両座標系の移動は、ＧＰＳおよび／または他のセンサ、例えば車輪速度センサ、操舵角センサ、加速度センサおよび向きセンサを使用して導出することができる。

【0081】

更なる実施形態によると、

【0082】

【数9】

【0083】

に従って時間依存加速度を組み込むことにより、精度が向上する。ただし、ζは角回転ωの時間導関数に関連するか、それに比例する。等式（４）の右辺の第１項は「オイラー加速度」とも呼ばれ、第２項は「コリオリ加速度」とも呼ばれる。自動車は正しい進路を保つとの仮定の下では、遠心加速度は自動車のタイヤによって補償され、車両運動には寄与しない。

【0084】

一般に、角速度ωは時間に依存する。一実施形態によると、時刻（ｋ−１）＊Δｔにおける角速度ωは、等式（２）、（２ａ）または（３）による計算に使用される。

【0085】

本明細書によると、時刻（ｋ−２）＊Δｔと時刻（ｋ−１）＊Δｔとの間の平均速度ｖは、カメラ画像の連続する２つの投影の比較から導出することができる。第１の近似では、平均速度が時刻（ｋ−１）＊Δｔにおける瞬時速度として使用される。

【0086】

一実施形態によると、角速度ωは、アッカーマンステアリングモデルを使用して前輪の操舵角と前輪の回転速度から導出される。アッカーマンステアリングモデルは、アッカーマン幾何学を備える自動車のステアリングに対し、とりわけ、タイヤと道路との間に滑りがほとんどまたは全くない低速の場合に良好な近似を与える。

【0087】

次に、前輪の操舵角を、ステアリングコラムの角度位置と前輪間の既知の横方向距離Ｌから導出することができる。更なる実施形態によると、車両カメラの画像シーケンスから導出されるエゴモーションを使用して角速度ωを導出する。

【0088】

図２を参照すると、瞬間曲率中心と前内輪に対する曲率半径Ｒ＿２は、Ｒ＿２＝Ｂ／ｓｉｎ（α）として導出することができる。ただし、αは前内輪の操舵角であり、Ｂは自動車のホイールベースである。前内輪の回転速度と車輪の直径から導出できる速度ｖで前内輪が移動する場合、「ヨー」としても知られる水平面における自動車の瞬間回転の角速度は、ω＝ｖ／Ｒ＿２＝ｖ＊ｓｉｎ（α）／Ｂとなる。

【0089】

より高い精度のため、瞬間位置を更なるオドメトリセンサ、例えばＧＰＳシステム、車両の速度センサおよび加速度センサ、または他の種類のオドメトリセンサからの入力を使用して計算することができる。特に、ＧＰＳ位置値を使用して真の位置からのずれを補正することができる。

【0090】

一実施形態によると、エゴモーションが、アフィン投影または地平面への変換から推定され、その場合、サラウンドビューシステムのカメラの画像は、地平面への投影に統合される。

【0091】

図３および図４は、地平面１６への投影を示す。

【0092】

像点は地平面上の物体の物点に対応するという仮定の下では、像点は、地平面上の対応する物点の位置に投影することができる。入射角θは、カメラセンサ上の像点の位置から導出される。次いで、投影の位置Ｙがカメラセンサの街路レベルからの高さＨを使用して、Ｙ＝Ｈ＊ｃｏｓ（θ）として導出される。

【0093】

図４は、図３のアフィン投影の等角図を示す。図４において、ビューポート平面１７における点はｐ＝（ｕ，ｖ）で表され、地平面１６における対応する点はＰ＝（Ｘ，Ｙ）で表される。ビューポート平面１７と投影中心Ｃとの間の距離は、文字「ｆ」によって表わされている。

【0094】

更なる実施形態によると、カメラ画像が評価され、観察されたシーンが再構築される。一実施形態においては、歩道が検出され、その高さが推定される。別の実施形態によると、静止物体、例えば街灯柱や樹木が検出され、地平面に対するその相対的な向きが推定される。

【0095】

街路レベルに位置していない物体および／または固有運動をしている物体は、オプティックフローを歪め、導出したエゴモーションの不正確さの原因となる可能性がある。一実施形態によると、かかる物体から生じるオプティカルフローベクトルは、アウトライアが抑制されるＲＡＮＳＡＣ（ランダムサンプルコンセンサス）手順を使用してフィルターにかけて除去される。更なる実施形態によると、エッジ認識と自動車の１０コンピューターメモリに記憶されるデジタルマップを使用して道路境界が認識される。

【0096】

更なる実施形態によると、例えば自動車の加速度センサおよび／または向きセンサを使用して自動車のロール運動およびピッチ運動が決定され、ロール運動およびピッチ運動を減算または補償することによりエゴモーションベクトルが補正される。

【0097】

更なる変形例によると、導出されたエゴモーションが、車線維持用途または他の電子的安定化用途に使用される。

【0098】

図５は、一例として、エゴモーションを得る手順を示す。ステップ３０において、カメラ画像がカメラ１１〜１６から取得される。ステップ３１において、カメラ画像は結合されて結合画像となる。ステップ３２において、エゴモーションの決定のための画像領域が選択される。例えば、街区の外にある物体、例えば建物や他の設備に対応する画像領域を切り取ってもよい。ステップ３３において、例えばアフィン変換または透視投影を適用することによって、像点が地面に投影される。

【0099】

ステップ３４において、連続画像における対応する像点が識別される。ステップ３５において、オプティカルフローベクトルが、対応する像点の位置を比較することにより、例えば対応する位置の位置ベクトル間の差ベクトルを計算することにより導出される。ステップ３６において、カルマンフィルターを適用することにより、フィルター手順、例えばＲＡＮＳＡＣ手順または他のアウトライアの除外法および補間法が適用される。特に、フィルター処理は、画像値、例えば所与の時間ウィンドウの像点の輝度値をコンピューターメモリに記憶すること、および画像値の平均を計算することを伴ってもよい。ステップ３７において、自動車のエゴモーションベクトルがオプティカルフローから導出される。

【0100】

図５の特定の一連のステップは、一例として提示したに過ぎない。例えば、カメラの画像は、地面レベルへの投影を実施した後に結合してもよい。

【0101】

上記の記載は多くの特異性を含むが、これらは実施形態の範囲を限定するものと解釈すべきではなく、予見可能な実施形態の説明を提供するに過ぎない。特に、実施形態の上記の利点は、実施形態の範囲を限定するものと解釈されるべきではなく、記載された実施形態が実施される場合に可能な成果を説明するだけである。したがって、実施形態の範囲は、与えられた例ではなく、請求項およびその均等物によって決定されるべきである。

【符号の説明】

【0102】

１０ 自動車
１１ サラウンドビューシステム
１２ フロントビューカメラ
１３ ライトサイドビューカメラ
１４ レフトサイドビューカメラ
１５ リアビューカメラ
１６ 地平面
３０〜３７ 方法ステップ

【図1】

【図2】

【図3】

【図4】

【図5】