特許 6674022 位置合わせされた統合画像を生成する方法、および、複数カメラ車両撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6674022

(24)【登録日】2020年3月9日

(45)【発行日】2020年4月1日

(54)【発明の名称】位置合わせされた統合画像を生成する方法、および、複数カメラ車両撮像システム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20200323BHJP

   H04N 7/18 20060101ALI20200323BHJP

【ＦＩ】

   G06T7/80

   H04N7/18 J

   H04N7/18 V

【請求項の数】14

【全頁数】17

(21)【出願番号】特願2018-523517(P2018-523517)

(86)(22)【出願日】2016年10月14日

(65)【公表番号】特表2018-534696(P2018-534696A)

(43)【公表日】2018年11月22日

(86)【国際出願番号】EP2016074688

(87)【国際公開番号】WO2017080753

(87)【国際公開日】20170518

【審査請求日】2018年5月8日

(31)【優先権主張番号】14/939,149

(32)【優先日】2015年11月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100177839

【弁理士】

【氏名又は名称】大場 玲児

(74)【代理人】

【識別番号】100172340

【弁理士】

【氏名又は名称】高橋 始

(74)【代理人】

【識別番号】100182626

【弁理士】

【氏名又は名称】八島 剛

(74)【代理人】

【識別番号】100175743

【弁理士】

【氏名又は名称】田渕 周作

(72)【発明者】

【氏名】シピトコウスキ，グレッグ

(72)【発明者】

【氏名】ヘブナー，ミヒャエル

(72)【発明者】

【氏名】ゲールケ，マーク

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０３０２５６１（ＵＳ，Ａ１）

【文献】 特開２０１４−０６４２２４（ＪＰ，Ａ）

【文献】 Cheng-Ming Huang, et al.，Fish-eye cameras calibration for vehicle around view monitoring system，2014 IEEE International Conference on Consumer Electronics - Taiwan，２０１４年 ５月２６日，pp.225-226，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6904070

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両上に配置された少なくとも２つのカメラからの画像データを用いて、位置合わせされた統合画像を生成する方法であって、
前記方法が、
前記車両上に配置された第１カメラから原画像データを受信するステップと、
前記第１カメラからの前記原画像データを、第１ルックアップテーブルを用いて第１修正出力画像に変換するステップであって、前記第１ルックアップテーブルが、前記原画像データから、前記第１修正出力画像の各画素に対応する少なくとも１つの画素位置を画定し、前記第１修正出力画像が、前記第１カメラからの原画像データの視点とは異なる視点を有するステップと、
前記車両上に配置された第２カメラから原画像データを受信するステップと、
を含み、
当該第２カメラの視野が前記第１カメラの視野と部分的に重複しており、
前記方法が、さらに、
前記第２カメラからの原画像データを、第２ルックアップテーブルを用いて第２修正出力画像に変換するステップと、
前記第１修正出力画像と前記第２修正出力画像とを組み合わせることにより第１統合出力画像を生成するステップと、
を含み、
前記第１統合出力画像における前記第１修正出力画像からの画像データが、前記第１統合出力画像における前記第２修正出力画像からの画像データに対して位置ずれされており、
前記方法が、さらに、
前記第１修正出力画像における複数の特徴点、及び、前記第２修正出力画像における複数の特徴点を検出するステップと、
前記第１修正出力画像における前記複数の特徴点の各特徴点を、前記第２修正出力画像における前記複数の特徴点の対応する特徴点にマッチングさせるステップと、
関心領域内において互いに最も離れているマッチングされた規定数の特徴点を識別するステップと、
前記第１カメラのヨー、ピッチ、及びロールを、前記識別された、マッチングされた前記規定数の特徴点のみの位置ずれに基づいて決定するステップと、
前記第１ルックアップテーブルを、前記決定された前記第１カメラのヨー、ピッチ、ロールに基づいて更新するステップと、
を含む、
方法。

【請求項2】

前記方法が、さらに、
前記第１カメラからさらなる原画像データを受信するステップと、
前記第１カメラからの前記さらなる原画像データを、第３修正出力画像に、前記更新された第１ルックアップテーブルを用いて変換するステップと、
前記第２カメラからさらなる原画像データを受信するステップと、
前記第２カメラからの前記さらなる原画像データを、第４修正出力画像に、前記第２ルックアップテーブルを用いて変換するステップと、
前記第３修正出力画像と前記第４修正出力画像とを組み合わせることにより、第２統合出力画像を生成するステップと、
を含み、
当該第２統合出力画像における、前記第３修正出力画像からの画像データが、前記第４修正出力画像からの画像データに対して適切に位置合わせされており、
前記第３修正出力画像の適切な位置合わせが、前記第１ルックアップテーブルの前記更新により達成される、
請求項１に記載の方法。

【請求項3】

前記第１カメラの物理的な位置が、前記第１統合出力画像の生成と前記第２統合出力画像の生成との間で変化しない、
請求項２に記載の方法。

【請求項4】

さらなる原画像データを前記第１カメラから受信するステップが、前記第１カメラからビデオ画像データを受信するステップを含み、
さらなる原画像データを前記第２カメラから受信するステップが、前記第２カメラからビデオ画像データを受信するステップを含み、
前記方法が、さらに、前記第１カメラからの修正されたビデオ画像データを、前記第２カメラからの修正されたビデオ画像データと組み合わせることにより、統合されたビデオ出力を生成するステップを含む、
請求項２に記載の方法。

【請求項5】

前記方法が、さらに、前記統合されたビデオ出力を、前記車両の内部に配置されたディスプレイスクリーン上に表示するステップを含む、
請求項４に記載の方法。

【請求項6】

前記方法が、さらに、前記第１修正出力画像及び前記第２修正出力画像を、前記複数の特徴点を検出する前に調整するステップを含む、
請求項１に記載の方法。

【請求項7】

前記第１修正出力画像及び前記第２修正出力画像を調整するステップが、
前記第１修正出力画像及び前記第２修正出力画像をグレースケールに変換するステップと、
前記第１修正出力画像及び前記第２修正出力画像にヒストグラム均等化を実行するステップと、
を含む、
請求項６に記載の方法。

【請求項8】

前記方法が、さらに、前記車両上に配置された第３カメラから原画像データを受信するステップを含み、
当該第３カメラの視野が前記第２カメラの視野と部分的に重複しており、
前記方法が、さらに、
前記第３カメラからの前記原画像データを、第３ルックアップテーブルを用いて第３修正出力画像に変換するステップと、
前記車両上に配置された第４カメラから原画像データを受信するステップと、
を含み、
当該第４カメラの視野が、前記第３カメラの視野と部分的に重複し、且つ、前記第１カメラの視野と部分的に重複しており、
前記方法が、さらに、前記第４カメラからの前記原画像データを、第４ルックアップテーブルを用いて第４修正出力画像に変換するステップを含み、
前記第１統合出力画像を生成するステップでは、前記第１修正出力画像と、前記第２修正出力画像と、前記第３修正出力画像と、前記第４修正出力画像とを組み合わせることにより前記第１統合出力画像が生成される、
請求項１に記載の方法。

【請求項9】

前記第１修正出力画像の視点が、前記車両の上に配置された仮想カメラのトップビュー視点であり、
前記第１統合出力画像が、前記車両及び前記車両の周囲領域のトップダウンビューを含む、
請求項８に記載の方法。

【請求項10】

前記第１カメラ、前記第２カメラ、前記第３カメラ、及び前記第４カメラの組が、前記車両の前端に取り付けられたカメラ、前記車両の左側に取り付けられたカメラ、前記車両の右側に取り付けられたカメラ、及び、前記車両の後端に取り付けられたカメラを含む、
請求項８に記載の方法。

【請求項11】

前記第１修正出力画像における複数の特徴点、及び、前記第２修正出力画像における複数の特徴点を検出するステップが、さらに、前記第１修正出力画像におけるさらなる複数の特徴点を検出するステップを含み、
前記第１修正出力画像における前記特徴点を、前記第２修正出力画像における対応する特徴点にマッチングさせるステップが、前記さらなる複数の特徴点の各特徴点を、前記第２修正出力画像における前記複数の特徴点のうちの前記検出された特徴点のいずれにもマッチングさせることができず、
前記方法が、さらに、前記第１修正出力画像における、前記マッチングされなかった前記さらなる複数の特徴点を、前記第１カメラのヨー、ピッチ、及びロールを決定する前にフィルタリングするステップを含む、
請求項１に記載の方法。

【請求項12】

前記第１修正出力画像における前記複数の特徴点の各特徴点を、前記第２修正出力画像における前記複数の特徴点の前記対応する特徴点にマッチングさせるステップが、
前記第１修正出力画像における前記複数の特徴点の各特徴点に対し、前記第１修正出力画像からの前記特徴点に最初にマッチする、前記第２修正出力画像における前記複数の特徴点の特徴点を識別することにより行われる第１初期マッチングステップを実行するステップと、
前記第２修正出力画像における前記複数の特徴点の各特徴点に対し、前記第２修正出力画像からの前記特徴点に最初にマッチする、前記第１修正出力画像における前記複数の特徴点の特徴点を識別することにより行われる第２初期マッチングステップを実行するステップと、
前記第１初期マッチングステップによりマッチングされた１対の特徴点が前記第２初期マッチングステップによってもマッチングされることを確認するステップと、
を含む、
請求項１に記載の方法。

【請求項13】

前記マッチングされた規定数の特徴点が、マッチングされた４つの特徴点であり、
前記第１カメラのヨー、ピッチ、及びロールを決定するステップが、前記第１カメラのヨー、ピッチ、及びロールを、前記識別された、マッチングされた前記４つの特徴点のみの位置ずれに基づいて決定する、
請求項１に記載の方法。

【請求項14】

複数カメラ車両撮像システムであって、
車両上に配置可能な第１カメラと、
前記第１カメラの視野と部分的に重複している視野を有する、車両上に配置可能な第２カメラと、
プロセッサと、
前記プロセッサにより実行される、前記複数カメラ車両撮像システムに対する命令を記憶する非一時的なコンピュータ可読メモリと、
を備え、
前記命令が、
前記第１カメラから原画像データを受信させ、
前記第１カメラからの前記原画像データを第１修正出力画像に、前記非一時的なコンピュータ可読メモリに記憶された第１ルックアップテーブルを用いて変換させ、
当該第１ルックアップテーブルが、前記原画像データから、前記第１修正出力画像の各画素に対応する少なくとも１つの画素位置を画定し、前記第１修正出力画像が、前記第１カメラからの原画像データの視点とは異なる視点を有し、
前記命令が、さらに、
前記第２カメラから原画像データを受信させ、
前記第２カメラからの前記原画像データを第２修正出力画像に、第２ルックアップテーブルを用いて変換させ、
第１統合出力画像を、前記第１修正出力画像と前記第２修正出力画像とを組み合わせることにより作成させ、
前記第１統合出力画像における前記第１修正出力画像からの画像データが、前記第１統合出力画像における前記第２修正出力画像からの画像データに対して位置ずれされており、
前記命令が、さらに、
前記第１修正出力画像における複数の特徴点、及び、前記第２修正出力画像における複数の特徴点を検出させ、
前記第１修正出力画像における前記複数の特徴点の各々を、前記第２修正出力画像における、前記複数の特徴点のうちの対応する特徴点にマッチングさせ、
関心領域内において互いに最も離れているマッチングされた規定数の特徴点を識別させ、
前記第１カメラのヨー、ピッチ、及びロールを、前記識別された、マッチングされた前記規定数の特徴点のみの位置ずれに基づいて決定させ、且つ、
前記第１カメラの前記決定されたヨー、ピッチ、及びロールに基づいて前記第１ルックアップテーブルを更新させる、
複数カメラ車両撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周囲領域の画像を捕捉する車両カメラシステムに関し、この車両カメラシステムは、画像データを車両の運転手に表示し、又は、画像データを用いて別の車両システムを動作させる。

【背景技術】

【0002】

重複する視野を有するカメラからのビデオ又は静止画像データを表示する場合、散漫な不連続性を排除し、且つ統合された画像を提供するために、カメラを位置合わせすることが望ましい。本明細書に記載するシステム及び方法の幾つかが、車両用の複数カメラシステムを提供する。このシステムは、重複視野を有する、車両上の少なくとも２つのカメラと、中央プロセッサとを含む。プロセッサは、カメラから画像データを受信し、画像データを解釈し、隣り合うカメラ間の、初期のカメラ配置からのカメラの向きのミスアライメント（ずれ）を判断する。ミスアライメントが判断されたならば、プロセッサは、両方のカメラからの画像データを含む統合画像を提示するように入力画像を変えることができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

幾つかの実施例において、本発明のシステムは、車両を上方から見下ろすように配置されたカメラにより捕捉された画像をシミュレートするために、「トップビュー」(“top view”)画像及び／又はビデオデータを作成するように構成される。次いで、トップビュー画像は、車両の運転者に、車両内部に配置されたディスプレイスクリーン上で表示され得る。また、トップビュー画像は、車線逸脱警報システム、バック走行アシストシステム、及びアダプティブクルーズコントロールシステムを含む、その他の自動又は半自動車両システムによっても使用され得る。

【課題を解決するための手段】

【0004】

一実施形態において、車両上に配置された少なくとも２つのカメラからの画像データを用いて、位置合わせされた統合画像を生成する方法を提供する。前記車両上に配置された第１のカメラから原画像データが受信されて、第１のルックアップテーブルを用いて第１の修正された出力画像に変換される。前記第１ルックアップテーブルは、前記原画像データから、前記第１修正出力画像の各画素に対応する少なくとも１つの画素位置を画定する。前記第１修正出力画像は、前記第１カメラからの原画像データの視点とは異なる視点を有する。また、前記車両上に配置された第２のカメラから原画像データが受信されて、第２のルックアップテーブルを用いて第２の修正された出力画像に変換される。当該第２カメラの視野は、前記第１カメラの視野と部分的に重複している。前記第１修正出力画像と前記第２修正出力画像とを組み合わせることにより、第１の統合された出力画像が生成される。しかし、前記第１修正出力画像からの画像データは、前記第１統合出力画像における前記第２修正出力画像からの画像データに対して位置ずれされている。複数の特徴点が、前記第１修正出力画像及び前記第２修正出力画像の各々にて検出される。前記第１修正出力画像からの特徴点が、前記第２修正出力画像からの特徴点にマッチングされ、前記第１カメラのヨー、ピッチ、ロールが、前記マッチングされた特徴点の位置ずれに基づいて決定される。前記第１ルックアップテーブルが、前記第１カメラの前記決定されたヨー、ピッチ、ロールに基づいて更新される。

【0005】

別の実施形態において、本発明は、複数カメラ車両撮像システムを提供する。このシステムは、第１のカメラ、第２のカメラ、プロセッサ、及び、メモリを備えている。当該メモリは、第１のルックアップテーブル、第２のルックアップテーブル、及び、コンピュータ実行可能な命令を記憶している。これらの命令は、前記プロセッサにより実行されたときに前記第１カメラ及び第２カメラからの画像データを処理して、位置合わせされた修正画像を作成する。

【0006】

原画像データが、車両上に配置された前記第１カメラから受信されて、第１のルックアップテーブルを用いて第１の修正された出力画像に変換される。当該第１ルックアップテーブルは、前記原画像データから、前記第１修正出力画像の各画素に対応する少なくとも１つの画素位置を画定する。前記第１修正出力画像は、前記第１カメラからの原画像データの視点とは異なる視点を有する。また、原画像データが前記第２カメラから受信されて、第２の修正出力画像に、第２のルックアップテーブルを用いて変換される。前記第２カメラも前記車両上に配置され、且つ、前記第１カメラの視野と部分的に重複している視野を有する。

【0007】

前記複数カメラ撮像システムは、第１の統合された出力画像を、前記第１修正出力画像と前記第２修正出力画像とを組み合わせることにより作成する。しかし、前記第１修正出力画像からの画像データは、前記第１統合出力画像における前記第２修正出力画像からの画像データに対して位置ずれされている。複数の特徴点が、前記第１修正出力画像及び前記第２修正出力画像の各々にて検出される。前記第１修正出力画像からの特徴点が、前記第２修正出力画像からの特徴点にマッチングされ、前記第１カメラのヨー、ピッチ、ロールが、前記マッチングされた特徴点の位置ずれに基づいて決定される。前記第１ルックアップテーブルが、前記第１カメラの前記決定されたヨー、ピッチ、ロールに基づいて更新され、その後に画像データを処理するときの使用のために、前記メモリに記憶される。

【0008】

本発明のその他の態様は、詳細な説明及び添付図面の検討により明らかになろう。

【図面の簡単な説明】

【0009】

【図1A】一実施形態による、車両用の複数カメラ撮像システムのブロック図である。

【図1B】図１Ａの複数カメラ撮像システムを備えた車両の俯瞰図である。

【図2】図１Ａの複数カメラ撮像システムにより生成された、カメラの位置ずれを有するトップビュー画像の一例である。

【図3】図１Ａの複数カメラ撮像システムにおける、カメラの位置ずれを低減するための方法のフローチャートである。

【図4】図１Ａの複数カメラ撮像システムにおける、カメラ画像の信号調整を行うための方法のフローチャートである。

【図5A】図１Ａの複数カメラ撮像システムの２つのカメラにより捕捉された、調整されていない画像の一例である。

【図5B】図４の信号調整方法適用後の、図５Ａのカメラ画像の一例である。

【図6】図１Ａの複数カメラ撮像システムにおける、重複視野を有するカメラの特徴点を検出及びマッチングする方法のフローチャートである。

【図7】図１Ａのシステムにおける重複視野を有する３つのカメラからのトップビュー修正画像であり、図６の方法に従って検出及びマッチングされた特徴点を強調している図である。

【図8】図１Ａの複数カメラ撮像システムの、ヨー、ピッチ及びロール調整を決定する方法のフローチャートである。

【図9】図１Ａの複数カメラ撮像システムにおける、カメラの位置ずれを修正するために更新されたルックアップテーブルを生成する方法のフローチャートである。

【発明を実施するための形態】

【0010】

本発明のいずれの実施形態も詳細に説明する前に、本発明が、その適用において、以下の説明に記載され又は以下の図面に示される構成要素の構成及び配置の詳細に限定されないことを理解されたい。本発明は、その他の実施形態も可能であり、また、様々な方法で実施又は実行され得る。

【0011】

複数のハードウェア及びソフトウェアベースのデバイス、並びに、複数の異なる構造の構成要素を、本発明を実施するために使用し得ることに留意されたい。加えて、本発明の実施形態が、ハードウェア、ソフトウェア、及び、電子部品又はモジュールを、考察のために含む場合があり、また、これらの構成要素の大部分が、ハードウェアのみに実装されるかのように図示及び説明され得ることを理解されたい。しかし、当業者は、この詳細な説明を読めば、少なくとも１つの実施形態において、本発明の電子ベースの態様が、１以上のプロセッサにより実行可能なソフトウェア（例えば、非一時的コンピュータ可読媒体に記憶された）に実装され得ることを理解するであろう。従って、複数のハードウェア及びソフトウェアベースのデバイス、並びに、複数の異なる構造の構成要素を、本発明の実施のために使用できることに留意されたい。例えば、本明細書に記載される「制御ユニット」(“control units”)及び「コントローラ」(“controller”)は、１以上のプロセッサ、非一時的コンピュータ可読媒体を含む１以上のメモリモジュール、１以上の入／出力インタフェース、及び、構成要素を接続する様々な接続部（例えば、システムバス）を含み得る。

【0012】

図１Ａは、車両用の複数（マルチプル）カメラ撮像システム１００の一例を示す。このシステムは、車両上に取り付け可能な４つのカメラを含む。４つのカメラは、前方カメラ１０１、後方カメラ１０３、左側カメラ１０５、及び、右側カメラ１０７を含む。図１Ｂに示されているように、前方カメラ１０１は車両の前方に（例えば、車両のフロントバンパ付近に）取り付けられて、車両の前方領域を含む視野をもたらし得る。同様に、後方カメラ１０３は、車両の後部に（例えば、後部ナンバープレートマウント付近に）取り付けられて、車両の後ろの領域を含む視野をもたらし得る。左側カメラ１０５は、車両の左側（例えば、左側外部リアビューミラーハウジング内）に取り付けられて、車両の左側の領域を含む視野をもたらし得る。右側カメラ１０７は、車両の右側（例えば、右側外部リアビューミラーハウジング内）に取り付けられて、車両の右側の領域を含む視野をもたらし得る。

【0013】

幾つかの実施例において、カメラ１０１，１０３，１０５，１０７は、各カメラの視野角を増大させるための「魚眼」／全方向レンズを備えている。その他の実施例において、より伝統的な「直線的」画像データを捕捉する広角レンズシステムが用いられ得る。しかし、いずれの場合においても、この例におけるカメラ１０１，１０３，１０５，１０７は、各カメラの視野が、隣接する２つのカメラの視野に部分的に重なるように構成及び配置される。例えば、図１Ｂに示されているように、前方カメラ１０１の視野と左側カメラ１０５の視野とは、関心領域（ＲＯＩ）の、ＲＯＩＡの符号を付した領域で重なっている。左側カメラ１０５の視野と後方カメラ１０３の視野とは、ＲＯＩＢの符号を付した領域で重なり、後方カメラ１０３の視野と右側カメラ１０７の視野とは、ＲＯＩＣの符号を付した領域で重なり、そして、右側カメラ１０７の視野と前方カメラ１０１の視野とは、ＲＯＩＤの符号を付した領域で重なっている。

【0014】

図１Ａに戻ると、撮像システム１００は、４つのカメラ１０１，１０３，１０５，１０７の各々から画像データを受信する画像処理ユニット１０９も含む。画像処理ユニット１０９は、プロセッサ１１１及びメモリ１１３を含む。メモリ１１３は、様々な様式の１以上の非一時的なコンピュータ可読メモリデバイス（例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フラッシュなどを含む）を含み得る。メモリ１１３は命令を記憶し、この命令は、プロセッサにより実行されるときに、画像処理ユニットが、以下に記載する機能を提供することを可能にする。また、メモリ１１３は、複数のカメラからの生のカメラデータを統合出力画像に変換するために、ルックアップテーブルを含む画像処理システムにより用いられる情報も記憶している。これに関しては、以下にさらに詳細に記載する。

【0015】

画像処理ユニット１０９は、接続されたカメラ１０１，１０３，１０５，１０７のうちの１以上からの画像データを処理するように、そして、出力画像を生成するように構成されている。出力画像は車両の運転者に、車両内部に配置されたディスプレイスクリーン１１５上で表示される。代替的に又は付加的に、画像処理ユニット１０９は、画像データを、ローカルに又は遠隔的に配置された別のディスプレイスクリーンに（有線又は無線インタフェースを介して）送信でき、また、画像データに基づいて動作するように構成されたその他の自動又は半自動の車両制御システム１１７に送信できる。このような車両制御システムは、例えば、車線逸脱警報システム、バック走行アシストシステム、駐車支援システム、及び、その他の様々な自動クルーズ制御システムを含み得る。

【0016】

幾つかの実施形態において、図１Ａの撮像システム１００は、各カメラ１０１，１０３，１０５，１０７からの原画像データを処理し、各カメラからの画像データを「トップビュー」視点に変換するように構成される。その後、トップビューに修正されたこれらの画像は、単一の画像出力に組み立てられる。これは、車両を上から見下ろすように配置されたカメラにより捕捉されるであろう画像をシミュレートするためである。図２は、このような「トップビュー」画像２０１の一例を示す。「トップビュー」画像２０１は、画像処理ユニット１０９により生成されて、ディスプレイスクリーン１１５に表示される。４つのカメラ１０１，１０３，１０５，１０７が車両周囲に配置され、且つ、部分的に重複する視野を有するため、捕捉される画像データは、車両周囲の地面の画像データを含む。この画像データは、図２に示されているように、記憶されている車両自体の「トップビュー」画像２０３と組み合わされる。「トップビュー」画像２０３は、４つのカメラ１０１，１０３，１０５，１０７により捕捉された、組み立てられた画像データの中央に挿入されている。

【0017】

この例において、撮像システム１００内の４つのカメラの各々により提供される画像データは、各ビデオ画像が均質なトップビュー（又はその他の組み合わせされた画像）に適切に修正されるための較正パラメータの個数に依存する。これらのパラメータを、２つのカテゴリ、すなわち、内因性パラメータと外因性パラメータに分類できる。

【0018】

内因性パラメータは、個々のカメラに関連する基本特性であり、カメラレンズ／画像中心点（２Ｄ座標ｍ０，ｎ０により定義される）、カメラアスペクト比（ａｒ）、カメラ焦点距離（ａ０）を含み、魚眼レンズ／全方位レンズにおいては、所定の画像を魚眼レンズ（ａ）にフィットさせるためのカメラ多項式(polynomial)を含む。外因性パラメータは、カメラの車両上での物理的位置及び取り付けを定義し、カメラの物理的な取り付け位置（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）、及び、カメラの３つの取り付け角度（ヨー、ピッチ、及びロール）を含む。

【0019】

カメラシステムのための内因性パラメータ及び外因性パラメータの初期値を、較正プロセスにより決定できる。例えば、撮像システム１００が装備された車両を、図１Ａに示されているように平らな地面のタイル状のグリッド上に配置できる。タイルグリッドは、定義された基準点を含むことができ、各カメラの内因性パラメータ及び外因性パラメータを、タイルグリッド上の定義された基準点の１以上の各カメラの主観的視野に基づいて個々に較正できる。

【0020】

外因性パラメータ（すなわち、カメラの取り付け位置及び角度）は、タイルグリッド上の基準点に対して較正プロセス中に特定される。これらの基準点間の距離が既知であるため、カメラの絶対的な位置及び角度は、各カメラからの原画像データを「トップビュー」画像データに変換するために使用されるルックアップテーブルを生成するときに決定され得る。ルックアップテーブルの生成には、カメラのパラメータと、ｘワールド座標基準点及びｙワールド座標基準点の各々が、入力として必要である。これらの基準点は、車両の中心に対して、及び地面に沿って定義される。ＬＵＴ生成アルゴリズムは、「仮想カメラ」(“Virtual Camera”)パラメータ（位置、方向、視野、及びスケールを含む）のセットと、出力画像がどのように見えるかを定義するためのスクリーン出力特性とを使用する。次いで、生成された、ソートされていないＬＵＴが、画像処理ユニット１０９により使用されるようにソート及び圧縮され、画像処理ユニット１０９は、各カメラからの原画像データを、「仮想カメラ」の視点から、統合出力画像（例えば、図２の「トップビュー」画像）に変換する。

【0021】

内因性のカメラパラメータは、一般的に、カメラの寿命を通じて変化せず、従って、製造時又は設置時の較正中に一旦決定されたならば、起動時に又はオンデマンドで画像処理ユニット１０９に伝送され得る。デジタルシステムの場合、データは、ＬＶＤＳ Ｉ２Ｃバックチャネルを介して送信され得る。アナログシステムの場合、データは、ＬＩＮ バックチャネル又はオーバーレイメカニズムを介して送信され得る。

【0022】

カメラの大体の位置及び向きは、カメラが車両に取り付けられ、較正されたときに知られるであろう。しかし、例えば、公差の積み重ねや製品寿命の変化などにより、車両の寿命中にカメラが位置合わせされなくなる場合もある。図２は、左側のカメラが位置ずれ状態にある場合の撮像システム１００の出力の例を示す。図２に見られるように、路面上に描かれた線がスクリーン上に表示されたときに、位置ずれを容易に認識させ得る。左側のカメラ画像から描かれた線は、前方カメラから描かれた線に対して領域２０５にて、及び、後方カメラから描かれた線に対して領域２０７にて傾いている。この位置ずれは、得られる表示画像の品質に影響を与えるだけでなく、車両の操作が画像データに依存している場合、安全の危険をもたらし得る。

【0023】

従って、撮像システム１００の画像処理ユニット１０９は、カメラの自動的な位置合わせを提供するように構成される。自動位置合わせは「オンデマンド」式に提供されることができ、従って、自動位置合わせは、例えば製造完成時又は車両点検中にユーザ又は技術者により開始されたときに実行される。或いは、システム１００は、撮像システムの出力を連続的に監視するように、且つ、ずれ（タイヤ圧力の変化又は車両負荷の変化などの状況に起因）を補償するための「リアルタイム」で調整するように構成され得る。

【0024】

図３は、図２に示したような左側カメラ１０５のカメラの位置ずれを、図１Ａの撮像システム１００を用いて判断、検出、及び低減するための方法を示す。上述したように、幾つかの実施例において、画像処理ユニット１０９のメモリ１１３は、プロセッサ１１１により実行されたときに画像処理ユニット１０９に図３の方法を実行させる命令を記憶している。また、メモリ１１３は、システム１００におけるその他のカメラ（前方カメラ１０１、後方カメラ１０３、及び右側カメラ１０７を含む）の位置ずれを判断、検出、及び低減するための命令も記憶している。

【0025】

画像処理ユニット（ＩＰＵ）１０９は、左側カメラ１０５から原画像データを受信し（ステップ３０１）、原画像データを、ルックアップテーブル（ＬＵＴ）を用いてトップビュー画像に変換する（ステップ３０３）。ルックアップテーブルは、入力画像内の画素位置と、出力画像内の対応する画素位置との関係を明らかにする。このようにして、左側カメラからの原画像は、原画像内の画素位置からの画素データを、出力されるトップビュー画像内の対応する画素位置にコピーすることによりトップビュー画像に変換され得る、次いで、ＩＰＵ１０９は、修正されたトップビュー画像内の、前方カメラに重なる関心領域（ＲＯＩＡ）、及び、後方カメラに重なる関心領域（ＲＯＩＢ）を識別し（ステップ３０５）、画像データ上で信号／画像調整を実行する（トップビュー画像全体に対して、或いは、識別された関心領域に対してのみ）（ステップ３０７）。これに関して、以下に、より詳細に説明する。

【0026】

同様に、ＩＰＵ１０９は前方カメラから原画像データを受信し（ステップ３０９）、別のルックアップテーブル（ＬＵＴ）を用いて原画像データをトップビュー画像に変換し（ステップ３１１）、修正されたトップビュー画像内の関心領域（左側カメラの、トップビュー画像データにおける重複関心領域（すなわち、ＲＯＩＡ）に対応）を識別し（ステップ３１３）、そして、同様の信号／画像調整を実行する（ステップ３１５）。また、ＩＰＵ１０９は、後方カメラから原画像データを受信し（ステップ３１７）、さらに、原画像データをトップビュー画像に、別のルックアップテーブルを用いて変換し（ステップ３１９）、修正されたトップビュー画像内の関心領域（左側カメラのトップビュー画像データにおける重複関心領域（すなわち、ＲＯＩＢ）に対応）を特定し（ステップ３２１）、そして、また、同様の信号／画像調整を実行する（ステップ３２３）。

【0027】

原画像データをトップビュー修正画像データに変換して信号／画像調整を行った後、前方カメラ及び左側カメラからの、識別された関心領域（ＲＯＩＡ）内の画像データを解析して、画像データ内の特徴点を検出し、抽出し、マッチング（照合）させる（ステップ３２５）。また、特徴点は、左側カメラ及び後方カメラからのＲＯＩＢ内の画像データにおいても検出され、抽出され、マッチングされる（ステップ３２７）。重複関心領域における特徴点を検出、抽出、及び照合するための方法の詳細な例を、以下にさらに詳細に説明する。

【0028】

各重複関心領域内で特徴点が検出及びマッチングされた後、特徴点はフィルタリングされ（ステップ３２９）、特徴点の限定されたサブセットが各関心領域内で選択される（ステップ３３１）。以下にさらに詳細に説明するように、この例においては、４つのマッチングされた特徴点が各関心領域にて識別され、左側カメラのための適切なヨー、ピッチ、及びロール調整を解決するために用いられる（ステップ３３３）。適切なヨー、ピッチ、及びロール調整が決定された後、更新された新しいルックアップテーブルが生成され（ステップ３３５）、その後、左側カメラからの原画像データをトップビュー画像データに変換するために使用される（ステップ３０３）。このデータが、統合されたトップビュー画像に組み込まれてディスプレイに表示される。

【0029】

原画像データを、修正されたトップビュービデオ画像に変換するための上述の方法を用いることは、幾つかの問題を生じ得る。例えば、画像変換プロセスがダウンサンプリングを要求して、可視エイリアシングアーチファクトを引き起こし得る。これらのアーチファクトは、撮像システム１００においては幾分低減される。なぜなら、重複領域のみが使用され、重複領域がもたらすダウンサンプリングはさほど重大でないからである。また、フリーランニングカメラは、色及び輝度が適さないことがあり、また、ミスアライメントのために、従来の輝度及びカラーマッチングアルゴリズムでは最適な結果が得られない場合がある。これらの問題を補償するため、及び、対応する特徴点の検出が、両方のカメラからの重複画像データにおいてより容易であることを保証するために、受信される画像データが調整される（図３のステップ３０７，３１５，３２３にて上述したように）。

【0030】

図４は、このような信号／画像調整の一例を示す。この方法は、調整されていないトップビュー修正画像から開始される（ステップ４０１）。演算時間を最小限にするために、ビデオデータ（画像全体、又は、重複領域ＲＯＩのみの）が、ＡＲＧＢからグレースケールに変換される（ステップ４０３）。グレースケールへのこの変換は、また、その他の２つの目的、（すなわち、ビデオデータを、ビデオデータが変化しないように「登録」し、ヒストグラム均等化のために画像データを準備すること）にも役立つ。グレースケールへの変換後、ガウスぼかしフィルタを適用して、エイリアシングアーチファクトの一部を低減する（ステップ４０５）。幾つかの実施例において、このフィルタリングは、ダウンコンバージョンの前に行われる。最後に、ヒストグラム均等化を実行して、２つのカメラ（すなわち、左側カメラ及び前方カメラ、又は、左側カメラ及び後方カメラ）からの重複画像データを、可能な限り類似させる（ステップ４０７）。次いで、信号調整されたトップビュー修正画像を、特徴点解析のために伝送する（ステップ４０９）。

【0031】

図５Ａは、前方カメラ及び左側カメラからのＲＯＩＡのトップビュー修正画像データの例を示す。図５Ｂは、図４の信号調整が完了した後の同一画像データを示す。

【0032】

トップビュー修正画像が調整された後、ＩＰＵ１０９は、２つの異なるカメラからの各重複関心領域における特徴点を検出し、抽出し、マッチングさせるルーチンを適用する。図６は、重複する関心領域内の特徴点を検出及びマッチングさせる方法の一例を示す。最初に、前方カメラ、左側カメラ、及び後方カメラからの修正されたトップビュー画像データが、図４を参照して上述したように調整される（それぞれ、ステップ６０１，ステップ６０３、及び、ステップ６０５）。次いで、ＩＰＵ１０９は、ＯＲＢ特徴検出を各カメラ画像に対して実行する（それぞれ、ステップ６０７、ステップ６０９、及び、ステップ６１１）。ＯＲＢ（Oriented FAST and Rotated BRIEF）は、輝度、ズーム、及びアフィン変換における小さい差異を補償するのに十分なロバストな特徴点検出アルゴリズムである。ＯＲＢ特徴検出器は、ＦＡＳＴ検出アルゴリズムに基づいているが、２つの重複画像間のアフィン差をより良好にサポートするために、特徴点の向き情報も提供する。

【0033】

特徴点が検出された後、ＩＰＵ１０９は、３つのカメラの各々に対し、関心領域にＯＲＢ記述子抽出アルゴリズムを適用する（それぞれステップ６１３、ステップ６１５、及び、ステップ６１７）。ＯＲＢ記述子抽出器は、検出された各特徴点に対して３２個のバイナリ記述子を提供する。

【0034】

３つのカメラ画像の各々において特徴点が検出及び抽出された後、各重複関心領域内の特徴点のマッチングが３つのステップで実行される。第１に、重複しているＲＯＩ内の２つの画像間の最も近い２つの記述子のマッチング（一致）を見つける。最も近い２つのマッチングは、２点間のハミング距離が最小のマッチングである。第２に、これらの距離の比率を、定義された閾値と照合して、一方の点が他方の点よりも著しく良好なマッチングであるかどうかを判断する。その他のカメラ画像における単一の対応する点に「比類なく」マッチングされていない点は破棄される。前方‐左側の重複関心領域と、左側‐後方の重複関心領域とに対し、それぞれ「最近傍」マッチングステップ及び比率マッチングステップ（ステップ６１９及びステップ６２１と、ステップ６２３及びステップ６２５）が、別々に行われる。２つのマッチングを一致させるために、対称マッチングが行われて、前記両方向のためにどちらのマッチングが存在するかを判断する（ステップ６２７）。対称マッチングは、カメラＡからカメラＢへのマッチング点が、カメラＢからカメラＡへ対応するマッチング点のセットに一致することを保証する。両方向（すなわち、左側‐前方、前方‐左側）にて同一のペアリングが見つけられたならば、このシステムには適切なマッチングが存在すると結論付けられる。

【0035】

図７は、左側カメラのためのトップビュー修正画像７０１が、前方カメラのためのトップビュー修正画像７０３の重複部分及び後方カメラのためのトップビュー修正画像７０５の重複部分の隣りに配置されている様子の一例を示す。図７には、ステップ６０７、ステップ６０９及びステップ６１１により検出された特徴点が示されている。また、図７は、重複カメラ画像内の「マッチング」(“matched”)点を結ぶ線も示している。

【0036】

図６の例におけるアルゴリズムは、多数の特徴点を獲得し、次いで、マッチング作業により「悪い」特徴点を除去するように設計されている。或いは、検出／マッチングアルゴリズムは、特徴点の識別において、より選択的であるように、そして、より緩い「マッチング」要件を適用するように適合され得る。しかし、アルゴリズムが、識別力がより低いマッチング（取得ごとのマッチングがより多くなる）を許容するように調整される場合、ＩＰＵ１０９は、信頼性のある結果を保証するために、ヒストグラム外れ値のフィルタリングを適用するように構成され得る（例えば、図３のステップ３２９参照）。ヒストグラム外れ値フィルタリングは、各マッチングされた点のペアにおける距離ΔＸ及びΔＹに基づいて粗いヒストグラムを構築することにより実行される。外れ点（すなわち、最大ヒストグラムビンから最も離れた点）は分析から除外される。フィルタリングが実行されたならば、各領域関心における４つの極端なマッチング点（すなわち、フィルタリング後に残っている、互いに最も離れた位置にある４つのマッチング点）が選択されて（図３のステップ３３１を参照）、カメラのヨー、ピッチ、及びロールを決定するために用いられる。

【0037】

マッチング特徴点が識別されて、各ＲＯＩ内の４つの極端なマッチング点が識別された後、ＩＰＵ１０９は、識別された極端なマッチング点の使用を開始して、左側カメラの適切なヨー、ピッチ及びロールの値を求める。図８は、ＹＰＲの値を求める方法の一例を示す。各カメラのマッチング特徴点間のユークリッド誤差を最小限にすることが、カメラのヨー、ピッチ、ロールの値を求めることの基本前提である。ＹＰＲの値を求める第１の部分は、粗い反復である。この粗い反復を、ヨー、ピッチ及びロール調整の全範囲にわたって繰り返して、近似解（すなわち、誤差は最小）を見つける（ステップ８０１）。この粗い近似が得られたならば（ステップ８０３）、非線形最適化が実行されて、初期近似が精緻化される（ステップ８０５）。これは、位置合わせ点と位置ずれ点との平均二乗誤差（ＭＳＥ）の最小化（ステップ８０７）により行われ、このステップは、精緻化された位置合わせ解が特定される（ステップ８０９）まで続けられる。

【0038】

左側カメラのヨー、ピッチ及びロール（ＹＰＲ）が決定されたならば、ＩＰＵ１０９は、決定されたＹＰＲに基づいて、更新されたＬＵＴを生成する（例えば、図３のステップ３３５を参照）。更新されたＬＵＴは、ＬＵＴが左側カメラからの原画像データを変換するために使用されるときに、トップビュー修正画像が前方カメラ画像データ及び後方カメ画像データと適切に位置合わせされるように構成される。図９に示されているように、ＩＰＵ１０９は、最初に、ソートされていないＬＵＴを生成する（ステップ９０１）。ＩＵ１０９は、事前定義された特性（例えば、カメラの内因性パラメータ及び外因性パラメータ、基準点、仮想カメラパラメータ、並びに、スクリーン出力パラメータ）を使用するＬＵＴ生成アルゴリズムを実行して、結果として得られるトップビュー画像内の各出力画素を作成するために、どの入力ストリーム画素を用いるべきかを決定する。ソートされていないＬＵＴを作成することは、幾つかの点で、修正の逆変換である。この段階の出力は「ソートされていない」(“unsorted”)ＬＵＴであり、このＬＵＴが、出力画素及び対応する入力画素に関して定義される。

【0039】

ＬＵＴ生成の第２のステップ（ステップ９０３）は、「ソートされていない」ＬＵＴを、入力画素順序に関してソートすることである。「ソートされた」(“sorted”)ＬＵＴは、画像処理ハードウェアが入力ビデオストリームの修正を最も迅速に実行できるように最適化されるように、順序付けられている。次いで、ソートされたＬＵＴは、適切に初期化される（ステップ９０５）。そして、ソート及び初期化されたＬＵＴは、最後に、メモリ帯域幅要件を最小限にするために、また、入力データを、メモリに効率的に書き込まれ得るようにフレーム化するために圧縮される（ステップ９０７）。

【0040】

上述の例は、左側カメラの位置合わせについて具体的に言及しているが、上述のように、幾つかの実施例において、ＩＰＵ１０９は、撮像システム１００におけるその他のカメラの位置ずれも同様に判断及び低減するように構成される。例えば、幾つかの実施例において、ＩＰＵ１０９は、２つの隣接するカメラ間の位置ずれを検出するように構成される。位置ずれが検出されたならば、ＩＰＵ１０９は、各カメラがその他の隣接するカメラと位置合わせされているかどうかを判断する。例えば、位置ずれが左側カメラと前方カメラとの間で検出された場合、ＩＰＵ１０９は、左側カメラと後方カメラとの位置ずれをチェックし、また、前方カメラと右側カメラとの位置ずれをチェックする。ＩＰＵ１０９が、左側カメラは後方カメラと適切に位置合わせされているが、前方カメラは右側カメラと位置ずれしていると判断した場合、ＩＰＵ１０９は、前方カメラの位置がずれていると結論付け、図３の位置合わせ方法を実行して、前方カメラのための更新されたＬＵＴを生成する。

【0041】

また、上述の例は、４つのカメラシステムについて論じているが、その他の実施例において、本明細書に記載した方法及びシステムを、より多数の又はより少数のカメラを有するシステムに適合させることもできる。

【0042】

また、上述の例は、トップビュー出力画像を生成するように構成されたシステムを具体的に論じているが、その他の実施例において、撮像システム１００が、別のタイプの統合画像出力を、重複視野を有する複数のカメラからの画像データを組み合わせることにより生成するように構成され得る。例えば、本発明のシステムを、「トップビュー」画像の代わりに周囲全景（パノラマサラウンドビュー）を作成するように構成し得る。

【0043】

最後に、本明細書に記載された例の多くにおいて、カメラの位置ずれが、「仮想カメラ」の位置を定義するために用いられるヨー、ピッチ、及びロールを調節することにより低減されることに留意されたい。すなわち、幾つかの実施例において、位置ずれ状態を修正するために、物理的なカメラ自体は移動されない場合がある。その代わりに、ＬＵＴが調整され、この調整は、カメラからの原画像データを変換するためにＬＵＴが用いられるときにトップビュー画像データが適切に位置合わせされているように行われる。しかし、その他の実施例において、撮像システム１００は、撮像システム１００における１以上のカメラの物理的位置及び／又は向きを制御可能に調整するための機構（例えばモータ）も含み得る。このような実施例においては、本発明のシステムは、位置ずれしているカメラの物理的な位置又は向きを、図３のステップ３３３にて決定されたヨー、ピッチ、及びロールの調整に基づいて調整するように構成され得る。そして、ＬＵＴが、物理的に調整されたカメラからの出力画像データの位置合わせを「微調整」(“fine tune”)するためにさらに調整されてもよい。

【0044】

従って、本発明は、特に、重複視野を有する複数のカメラからの画像データに基づいた、統合された出力画像を生成するためのシステム及び方法を開示する。この画像生成は、各カメラからの原画像を、ルックアップテーブルを用いて、修正された出力画像に変換することにより行われる。また、本発明のシステム及び方法は、カメラの位置ずれを、特徴点の検出及びマッチングに基づいて更新されたルックアップテーブルを作成することにより低減する。本発明の様々な特徴及び利点を、以下の特許請求の範囲に記載する。

【符号の説明】

【0045】

１００ 撮像システム
１０１ 前方カメラ
１０３ 後方カメラ
１０５ 左側カメラ
１０７ 右側カメラ
ＲＯＩＡ 重複領域
ＲＯＩＢ 重複領域
ＲＯＩＣ 重複領域
ＲＯＩＤ 重複領域
２０３ トップビュー画像
７０１ 左側カメラのためのトップビュー修正画像
７０３ 前方カメラのためのトップビュー修正画像
７０５ 後方カメラのためのトップビュー修正画像

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】