特許 6574611 立体画像に基づいて距離情報を求めるためのセンサシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6574611

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】立体画像に基づいて距離情報を求めるためのセンサシステム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20190902BHJP

   G01B 11/22 20060101ALI20190902BHJP

   G01C 3/06 20060101ALI20190902BHJP

【ＦＩ】

   G06T7/593

   G01B11/22 H

   G01C3/06 110V

【請求項の数】17

【外国語出願】

【全頁数】15

(21)【出願番号】特願2015-108573(P2015-108573)

(22)【出願日】2015年5月28日

(65)【公開番号】特開2016-9487(P2016-9487A)

(43)【公開日】2016年1月18日

【審査請求日】2018年2月15日

(31)【優先権主張番号】14173827.8

(32)【優先日】2014年6月25日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】503113186

【氏名又は名称】ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー

【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】ニル アイネッケ

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００４−１８４２４０（ＪＰ，Ａ）

【文献】 特開２００７−１７２５００（ＪＰ，Ａ）

【文献】 特開平０８−２８００２６（ＪＰ，Ａ）

【文献】 酒井 修二、外３名，“位相限定相関法に基づく多視点画像からのデプスマップ生成の検討”，情報処理学会 シンポジウム 画像の認識・理解シンポジウム（ＭＩＲＵ） ２０１１，日本，情報処理学会，２０１１年 ７月２０日，pp.1347-1354

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

センサシステムから物理的オブジェクトまでの距離を求める距離測定方法であって、
前記センサシステムが備えるセンサから、前記物理的オブジェクトを含むステレオ画像を構成する少なくとも１対の画像を取得するステップであって、前記１対の画像は第１の画像と第２の画像とで構成されるステップと、
前記第１の画像の少なくとも一部分の各エレメントおよび前記第２の画像の少なくとも一部分の各エレメントに、それぞれ少なくとも２つの予め定められた異なる形状を有するフィルタを適用するステップと、
前記各フィルタについて、当該フィルタを適用することにより前記第１および第２の画像から抽出される画像パッチについて、さまざまな視差についての相関値を求めるステップと、
前記各フィルタについて求められた前記相関値を組み合わせて、前記フィルタのセットについての合成相関値を求めるステップと、
さまざまな視差についての前記合成相関値を、当該合成相関値の極値に関して評価するステップと、
前記極値が生じる視差の値に基づいて前記距離を算出するステップと、
前記距離を出力するステップと、
を含む距離測定方法。

【請求項2】

前記センサシステムが少なくとも２つの映像センサ及び又は光学センサを備え、前記センサの少なくとも一つがカメラ、レーダセンサ、ライダセンサ、赤外線センサ、または熱センサである、請求項１に記載の方法。

【請求項3】

前記フィルタが長方形で画像の一つの次元にそって一つの空間方向に長く、特に垂直方向または水平方向に長い、請求項１または２に記載の方法。

【請求項4】

前記相関値が正規化され、たとえば一つのエレメントのための各フィルタの相関値が、該フィルタ相関値の組み合わせ前に該エレメントのための該フィルタのすべての相関値の和によって正規化される、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記相関値が正規化された相互相関、加算された正規化相互、全数変換画像のハミング距離、またはランク変換画像の絶対差によって計算される、請求項１から４のいずれか１項に記載の方法。

【請求項6】

異なるフィルタの前記相関値がたとえばべき乗によって重み付けられる、請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記エレメントがピクセルである、請求項１から６のいずれか１項に記載の方法。

【請求項8】

前記センサシステムが２以上の画像を供給する２以上のセンサを有し、一つのセンサが基準センサとして使われる、請求項１から７のいずれか１項に記載の方法。

【請求項9】

前記極値が最大値である、請求項１から８のいずれか１項に記載の方法。

【請求項10】

前記合成相関値は、前記各フィルタについて求められた前記相関値を互いに乗算することにより算出される、請求項１から９のいずれか１項に記載の方法。

【請求項11】

前記センサが受動センサ、特に光学センサである、請求項１から１０のいずれか１項に記載の方法。

【請求項12】

複数の前記１対の画像が、前記センサシステムから連続して供給され、前記方法は、連続して供給される複数の前記１対の画像のそれぞれに対して実行される、請求項１から１１のいずれか１項に記載の方法。

【請求項13】

センサシステムであって、
物理的オブジェクトを含むステレオ画像を構成する少なくとも１対の画像を取得するための少なくとも２つのセンサであって、前記１対の画像は第１の画像と第２の画像とで構成されるセンサと、
前記第１の画像の少なくとも一部分の各エレメント、および前記第２の画像の少なくとも一部分の各エレメントに、少なくとも２つの予め定められた異なる形状を有するフィルタを適用する手段と、
前記各フィルタについて、当該フィルタを適用することにより前記第１および第２の画像から抽出される画像パッチについて、さまざまな視差についての相関値を求める手段と、
前記各フィルタについて求められた前記相関値を組み合わせて、前記フィルタのセットについての合成相関値を求める手段と、
さまざまな視差についての前記合成相関値を、当該合成相関値の極値に関して評価する手段と、
前記極値が生じる視差の値に基づいて前記センサシステムから前記物理的オブジェクトまでの距離を算出する手段と、
前記距離を出力する手段と、
を備える、センサシステム。

【請求項14】

請求項１３に記載のセンサシステムを備えた、陸、空、海または宇宙の乗り物またはロボットデバイス。

【請求項15】

前記乗り物はロボット、モーターサイクル、スクーターその他の２輪乗り物、乗用車、航空機、または芝刈り機である、請求項１４に記載の乗り物。

【請求項16】

請求項１３に記載の前記センサシステムを備える、乗り物のドライバ支援システム。

【請求項17】

コンピュータ上で実行されるとき、請求項１から１２のいずれか１項に記載の方法を実施するコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、好ましくは立体画像を処理するための画像処理方法および光学（可視）センサシステムに関し、特にこの方法を使用するカメラシステムに関する。さらにこの発明は乗り物に関し、特に、物理的オブジェクト（物体）までの距離を求める/計算するに適し、また、光学センサシステムによって提供される画像/画像ストリームからオプティカルフローを求め/計算するのに使用することにも使うことができる、センサシステムを備える車両、航空機、船舶またはロボット装置に関する。

【0002】

この発明は、乗り物に搭載されたナビゲーションシステム、適応性クルーズコントロール（ACC）、レーン逸脱警告システム、レーン変更支援、衝突回避システム（またはプレクラッシュシステム）、インテリジェント速度適応またはインテリジェント速度アドバイス（ISA）、ナイトビジョン、適応性光コントロール、歩行者保護システム、自動パーキング、交通信号認識、盲点（ブラインドスポット）検出、ドライバ眠気検出、乗り物通信システム、および/または下り坂（hill descent）コントロールのような先進ドライバ支援システム（ADAS）を含む多くの自律的なまたは半自律的なシステムにおいて使用される立体的な映像の分野に関係する。

【背景技術】

【0003】

立体映像は２以上のセンサおよびこのセンサからえられる画像を使うことによって距離の概算を可能にする。一つのカメラの画像パーツまたはパッチは一つまたは複数の他のカメラの画像パーツまたはパッチと相関する。相関する画像パーツにおける物理的オブジェクトの位置は、カメラからオブジェクトまでの距離に直接関係する。一般に、近くのオブジェクトでは比較される画像パーツにおける位置に大きな差があり、遠くのオブジェクトでは位置の差が小さい。他の距離測定手段に対する利点は、カメラのようなエネルギー効率のよいセンサを使用することができることである。立体映像の使用は、ベースライン（すなわち、カメラ間の距離）を変えることにより任意の距離についてステレオカメラを使うことができるので、立体映像センサシステムはスケール変更を可能にする、という利点もある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

この発明のセンサシステムは、カメラ（CCD、CMOS、・・・）、レーザスキャナ、赤外線センサなどのような少なくとも２つの光学センサを有する。映像センサは画像を生成して、たとえば画像ストリームとして処理ユニットに送る。

【0005】

処理ユニットは、この画像を処理して２つのセンサから提供された画像から画像情報を抽出する。この処理ユニットは、センサシステムの一部であっても、センサシステムから分離されていてもよい。たとえば、画像ストリームはカメラベースのストリーム記録システムからこの処理ユニットに処理のために供給されることができる。

【0006】

既知の画像パーツまたはパッチを突き合わせる（マッチング）ステレオ法は、フロント並列(front-parallel)の仮定が破られるか、またはテクスチャ情報が少ないときに、悪い相関を生じる。２フレームの立体的相関（対応）法は、通常修正された画像ペアを使い、典型的には明示的または暗示的にフロント並列仮定またはフロント並列面仮定を利用する。

【0007】

特にこの仮定は、位置の不一致（または深さ）が考慮中の領域にわたって（修正されたステレオ画像ペアまたは画像パーツ/パッチペアに関し）一定であるとする。しかし、物理的オブジェクトは豊富な形状の表面を持っていることがあり、これは一般にフロント並列面仮定に違反する。このことを図１を参照して説明する。通常の面 S⊂□³ について、ポイント p∈S での正接（タンジェント）面T_p(S)（実線で）が良好に定義される。伝統的な立体相関法は、ｐにおける（局部の）面形状を現すのに全面の並列面（破線で）を使用するが、これは正しくない。図１では、センサＣ_lおよびＣ_rが左（l）および右（r）のカメラに対応して示されている。

【0008】

この発明は、さまざまな形状およびサイズの突き合わせ（マッチング）フィルタの突き合わせ値を乗算的な態様で組み合わせることによってブロック突き合わせ（マッチング）のステレオ突き合わせ（マッチング）を改良する、ここでブロック突き合わせ法は、たとえば動き判定の目的で、ディジタルビデオ画像フレームのシーケンスにおいて突き合わせ（マッチング）ブロックを見つける方法である。ブロック突き合わせ法の目的は、フレームiからの突き合わせブロックを他の何らかのフレームjにおいて見つけることであり、フレームjはiの前であっても後ろであってもよい。ブロック突き合わせ法は、評価計算を利用してフレームjの所与のブロックがフレームiにおけるサーチブロックとマッチするかどうかを判定する。以下の説明ではフレームという用語は画像のパッチ、パーツ、（サブ）ウィンドウ、または部分と同様に使われ、また、ブロックは基本的に矩形形状のフィルタを指す。

【0009】

既知の手法がEP2 386 998 A1に示されており、ロバストなマッチング法、加算正規化相互相関(SNCC)が記載され、これはパッチ突き合わせ相関サーチに使用することができる。その一つの応用は例えばステレオ画像から立体的深さを計算することである。

【0010】

文献「密な２フレームステレオ相関アルゴリズムの分類および評価」シャースタイン(Scharstein)およびゼリスキ(Szeliski)、（2002, International Journal of Computer Vision,47(1-3):7-42）は、概観すると、当技術分野で使われている最も一般的な計算方法を示している。
文献「画像相関を計算するための非パラメトリック局部変換」ザビーおよびウッドフィル、(1994, Proceedings of the third European conference on Computer Vision, Vol. II)は、パッチ相関を改良するために画像についてランクおよび全数変換(rank and census transform)を紹介する。ランク変換した画像を加算された絶対値または自乗した差分と突き合わせ、全数変換した画像をハミング距離と突き合わせることが提案されている。

【0011】

最後に文献「リアルタイム相関ベースの境界エラーを低減したステレオビジョン」ハーシュミラー、イノセント、ガリバルディ、（2002, International Journal of Computer Vision） は、マルチウィンドウのステレオ手法を記載しており、大きな相関ウィンドウが同じ形状のサブウィンドウに区分けされている。それぞれの不一致に対して、サブウィンドウの相関値がソートされ、境界エラーを低減するためｎ個の最善のサブウィンドウだけが全体のウィンドウ相関値を計算するのに使用される。相関は、各ウィンドウ内の加算された絶対値誤差によって計算され、全体のウィンドウコストがｎ個の最善のサブウィンドウの相関値を加算することによって計算される。

【課題を解決するための手段】

【0012】

この発明は、特許請求の範囲の独立請求項に記載される解決手段を提供する。この発明のさらなる特徴は従属請求項に記載されている。特に、この発明は、独立請求項に規定される方法およびシステムを提供する。

【0013】

第１の観点では、この発明はセンサシステムと物理的オブジェクトとの距離を求める距離測定方法を提供し、この方法は、センサシステムから物理的オブジェクトを含む少なくとも１対の立体画像を取得するステップ、この対の立体画像の第１の画像の少なくとも一部分の各エレメントと、この対の画像の第２の画像の少なくとも一部分の各エレメントとに少なくとも２つの異なる形状および/またはサイズのフィルタをそれぞれ適用するステップ、第１および第２の画像に適用された各フィルタについて相関値を求めるステップ、それぞれの適用されたフィルタに対して求められた相関値を組み合わせることによって適用されたフィルタ（複数）に対する合成相関値（複数）を求めるステップ、この合成相関値の一つの極値に対する異なる視差について合成相関値を評価するステップ、前記極値が生じる視差の値に基づいてセンサシステムから物理的オブジェクトまでの距離値を計算するステップ、を含む。

【0014】

このセンサシステムは少なくとも２つの可視および/または光学センサを備えることができ、特にセンサの少なくとも一つはカメラ、レーダセンサ、ライダセンサ、赤外線センサ、または熱センサである。

【0015】

フィルタは本質的に長方形であってよく、特に一つの空間方向に沿って、または画像の一つの次元にそって、特に垂直または水平方向に、長くてよい。

【0016】

相関値は正規化することができ、たとえば一つのエレメントについて各フィルタの相関値は、フィルタ相関値を組み合わせる前にそのエレメントについてのフィルタの全ての相関値の和によって正規化することができる。

【0017】

相関値は、正規化された相互相関、加算された正規化相互相関、全数変形画像のハミング距離またはランク変形画像の絶対偏差によって計算することができる。

【0018】

異なるフィルタの相関値は、たとえばべき乗（exponentiation）などによって、重み付けすることができる。

【0019】

エレメントは、ピクセルであることができる。

【0020】

センサシステムは３つ以上の画像を供給する３つ以上のセンサを備え、一つのセンサを基準センサとして使用することができる。

【0021】

極値は特に最大値であることができる。

【0022】

フィルタ相関値の組み合わせは乗算的な組み合わせであることができる。

【0023】

センサは受動センサであることができ、特に光学センサであることができる。

【0024】

画像は、センサシステムによって提供される画像のシーケンスで供給される画像であることができ、この発明の方法はシーケンス中の複数の画像に対して実施することができる。画像のシーケンスは、たとえばセンサシステムのセンサによって供給される。

【0025】

もう一つの観点によると、この発明は、少なくとも１対の立体画像を供給するに適したセンサシステムを少なくとも有するセンサシステムを提供し、このシステムは、さらに、物理的オブジェクトを含む少なくとも１対の立体画像をセンサシステムから取得するための手段、前記対の立体画像の第１の画像の少なくとも一部分の各エレメントおよび前記対の立体画像の第２の画像の少なくとも一部分の各エレメントに少なくとも２つの異なる形状および/またはサイズのフィルタをそれぞれ適用するよう構成された手段、前記第１及び第２の画像に適用される各フィルタについて相関値を求めるよう構成された手段、適用された各フィルタについて求められた相関値を組み合わせることによって適用されたフィルタの合成相関値を求めるよう構成された手段、合成相関値の極値に対する異なる視差について合成相関値を評価するよう構成された手段、前記極値が生じる箇所での視差値に基づいてセンサシステムから物理的オブジェクトまでの距離値を計算するよう構成された手段、およびこの距離値を出力するよう構成された手段、を備える。

【0026】

さらにもう一つの観点によると、この発明は上述の方法を実行するよう適応されたセンサシステムを提供する。

【0027】

また、本発明は、そのようなセンサシステムを装備した陸、空、海または宇宙の乗り物を提供する。この乗り物はロボットまたはモーターサイクル、スクーター、その他の２輪乗り物、乗用車または芝刈り機であることができる。

【0028】

またもう一つの観点によると、本発明は上述の方法を実施するセンサシステムを有する乗り物ドライバ支援システムを提供する。

【0029】

最後にこの発明は、コンピュータ上で実行されるとき、上述の方法を実施するコンピュータ・プログラムを提供する。

【図面の簡単な説明】

【0030】

【図1】フロント並列仮定を示す図。

【図2】長方形のフィルタでのブロック突き合わせ（マッチング）を示す図。

【図3】立体画像の一空間方向に長いフィルタ、たとえば水平フィルタでのブロック突き合わせを示す図。

【図4】視差サーチ、すなわちさまざまの視差に対する相関値を示す図。

【図5】水平フィルタに対する視差サーチの相関値（上段）、垂直フィルタに対する視差サーチの相関値（中段）、および合成相関値（下段）を示す図。

【図6】ここに開示したシステムおよび方法を使用する乗り物を模式的に示す図。

【詳細な説明】

【0031】

フィルタは典型的には、一つの画像パーツ/パッチの現在評価中のピクセル（ディジタル画像が構成されるベースエンティティである）または領域がもう一つの画像パーツ/パッチのピクセルまたは領域と類似/同等であるかどうかを判定するときに評価されるピクセルの数および広がりに関係する。

【0032】

本発明の核心は、対応するサーチについて異なるサイズおよび/または形状の複数のマッチング・フィルタを乗算的に合成することによってステレオまたはマルチのセンサシステムにおける深さ概算（推定）の実行または深さ概算を向上させ、またはマルチ画像システムにおけるオプティカルフローを向上させることである。

【0033】

ステレオセンサ画像から深さを概算するには、少なくとも２つのセンサ画像、たとえば左および右のカメラの画像における相関する画像ピクセルを見つける必要がある。

【0034】

マルチセンサのシステムは、それぞれの対のセンサがステレオセンサとして使われることができるという意味、または一つのセンサが基準センサとして規定され、他のすべてのセンサがステレオセンサシステムの第２センサのように扱われるという意味において、類似している。これは、相関するピクセルがそれぞれのセンサ画像対においてサーチされるか、または基準センサ画像と他のすべてのセンサの画像との間でサーチされることを意味する。

【0035】

ピクセル相関が見つけられた後、相関するピクセル間の距離から深さを容易に計算することができる。相関するピクセル間の距離は視差（disparity）と呼ばれ、ピクセルの数で測定される、すなわち相関するピクセルが５ピクセル離れていれば、それらの視差は５である。

【0036】

深さは、次の簡単な式で計算される：
深さ ＝ fb/視差
ここで、f はセンサの焦点距離であり、b はベースラインである。ベースラインは少なくとも２つのセンサの間の（３D）距離である。

【0037】

不幸にして単独のピクセル相関を見つけることはまったく大変な仕事である。したがって、それぞれのピクセルの周りの領域（パッチ、パート、部分、またはウィンドウ）を使って相関を見つける。この領域が長方形形状のとき、この手法はブロック突き合わせ（ブロックマッチング）と呼ばれる。パッチ相関は典型的には画像フィルタリングによって計算されるので、パッチ形状およびサイズはそれぞれフィルタ形状およびサイズと称される。

【0038】

パッチの相関を見つける際の問題は、そのパッチ内のすべてのピクセルの深さ（すなわち視差）値が同じであることであり、これは同じ深さからのピクセルだけがステレオ画像における同じ空間配置に描かれるからである。（ステレオ）センサシステムによって観測されるシーンはフロント並列でない多くの表面からなるので、仮定がしばしば破られる。これらのケースではパッチで計算された相関はお粗末で相関を検出するのは難しい。

【0039】

図３は車からのステレオ画像の例を示す。道路は強く傾斜しており(slanted)、ピクセルの空間配置が変化している。左の画像からの相関パッチ（たとえば、ピクセルＲの周りの3 x 3パッチ）は、右の画像ではピクセルの空間レイアウトが異なるので不良となる。

【0040】

しかし、パッチ内のピクセルがその空間配置を換えないような異なるフィルタを使用するならば、相関が成功するであろう。

【0041】

図３は水平方向に長いフィルタを使うもう一つの例をも示している。

【0042】

水平方向に長いフィルタ（特に他の方向よりも一空間方向に延びるフィルタ）のマイナス面は、縦型のオブジェクトにはあまり適さないことである。このようなオブジェクトはフェンスなどのように傾斜した面を生じ、木とか交通信号ポストなどの薄い縦型のオブジェクトでは雑音の多い結果を生じる。このような構造物は垂直方向に長いフィルタで良い突き合わせができる。

【0043】

こうして本願発明は、異なる形状（および/またはサイズ）のフィルタ、たとえば一つの水平および一つの垂直フィルタ、を使う（水平/垂直フィルタは顕著な伸長を一つの空間方向に持つ本質的に長方形のフィルタである）。ゴールは、それぞれの画像位置でどのフィルタが最適かを見つけることである。

【0044】

残念ながら、最善のフィルタを選択するためにさまざまなフィルタの相関値Ｃ_ｄを使うのは困難である。相関値Ｃ_ｄは次のようにして規定される。さまざまな数のピクセルエレメントでの相関値は、通常比較することができない、なぜなら少ない数のピクセルでのフィルタは大きな数のピクセルでのフィルタより良い相関値をもつ傾向があるからである。その理由は純粋の統計学であり、フィルタがより多くのピクセルを包含するとピクセルがマッチしないことが多くなり、相関を低下させることになる。

【0045】

フィルタの相関、すなわち一つの画像における画像パッチと他の画像における画像パッチとの相関は次の式で表される。

【0046】

【数1】

【0047】

ここで、Ｃｄは視差ｄについての寄せ集めフィルタ（またはパッチ）のマッチングコストであり、ci,d は左パッチにおけるピクセルiおよび右パッチにおける対応するピクセルのピクセルレベルのコストである。パラレルステレオカメラのセットアップでは、対応するピクセルは典型的には同じ画像ラインにあり、ｃi,d は次の式で表される

【0048】

【数2】

【0049】

ここで、f_c はピクセルレベルのマッチングコストであり、p(x_i, y_i)^L は左画像のピクセルiであり、p(x_i-d,y_i)^R は右画像の対応するピクセルである。

【0050】

さまざまな形状およびサイズのフィルタのフィルタ相関値Ｃｄを統計的に結合させることを考える。全視差のサーチレンジに対するフィルタ相関を見るとき、図４に示すような分布が得られる。このことは、さまざまな形状のフィルタiの相関値はそれらの分布を乗算することによって合成することができることを意味する。分布の単独値は独立なので、単独の相関値を乗算して全体的な尺度へと合成することができ、これを次式で示す。

【0051】

【数3】

【0052】

そのような合成の利点は、ある画像部分について悪い形状を持つフィルタは典型的にはその画像部分について良い突き合わせが見あたらないので、フラットな分布を持つことである。一方、好ましい形状を持つフィルタは強いピークを与える。このことが図５に示され、水平方向に長いフィルタの相関分布および垂直方向に長いフィルタの相関分布が、樹幹のような垂直の構造が見られる画像位置について示されている。図５は乗算的に合成された分布を示す（最下部）。

【0053】

垂直構造では水平フィルタ（最上部）は非常にフラットな分布を持つ。フィルタ形状がシーンの構造にあまりよく適合しないからである。一方、垂直フィルタ（中間部の分布）は他の画像における対応する垂直構造位置で顕著なピークをもつ。

【0054】

水平フィルタの分布は非常にフラットなので、垂直フィルタの分布におけるピークが合成した（乗算的な）結果に優勢に現れる。一般に複数のフィルタを組み合わせるとき、この手法は、適合性が悪いフィルタがフラットな分布を生じ良好に適合するフィルタだけが顕著はピークを生じるので、黙示的に最善のフィルタ形状の選択に導く。

【0055】

もう一つのまたは代替的な利点のある組み合わせは小さいフィルタと大きいフィルタとの組み合わせである。大きなフィルタはその大きな積分領域により弱いテクスチャの領域において安定した結果を生じ、小さいフィルタは非常にノイズの大きい、すなわちクリアなピークを持たない結果を生じる。一方、大きなフィルタは小さいオブジェクトで非常に広く小さいピーク（複数）を持ち、これが不安定な結果および膨張効果を生じるが（視差値が隣接するピクセルににじむ）、小さいフィルタはこれらの小さいオブジェクトに対し非常に強くシャープなピークを持つ。もちろん、より多くのフィルタを組み合わせることも可能であり、垂直、水平、小さい四角形および/または大きな四角形のフィルタを組み合わせることもできる。こうして複数のシーン構造をロバストに相関付けることができる。

【0056】

使用される相関測定によっては、それらを現実的なものとするために相関値を正規化することが必要かもしれない。そうするため、分布のそれぞれの相関値を全分布の和で割ることができる。

【0057】

【数4】

【0058】

もちろん、これには全分布を事前に計算しておかねばならない。もし、対応するピクセルが最良の相関を見つけることによって選択されているなら、正規化は、それによって最大値が変わらないので必要ない。

【0059】

一方、なんらかのシーン構造に対し良好な概算をするためにはなんらかのフィルタに他のものより重み付けすることが好ましいことがある。たとえば、車のシナリオにおいて道路領域を検出するためには、通りの（３D）構造を取得することが重要である。通りについて良好な深さ概算をするためには水平フィルタを他のフィルタより重み付けする。フィルタの応答が乗算されるので、重み付けはべき乗(exponentiation)によってなされねばならない。

【0060】

【数5】

ここで、w_iはフィルタiに適用される重みである。

【0061】

同様にしてこの方法はオプティカルフローのブロック突き合わせに使うことができる。唯一の相違点は、オプティカルフロー相関はｘおよびｙ方向においてサーチされるので、視差分布が２次元であることである。

【0062】

一般的に、画像間の相関を見つけるコンピュータで実行される方法が提供されるのであり、少なくとも一つの視覚センサまたは光学センサから少なくとも２つの画像を受け取り、それぞれのセンサが少なくとも一つの画像を供給する。一つの画像の１組のピクセルに対し、他の画像、画像パーツまたはパッチそれぞれにおける対応するピクセルを見つけるため相関が計算される。そのピクセルの組からのピクセルのそれぞれに対して、少なくとも２つの異なる形状および/またはサイズのフィルタを使用して、他の画像における相関が計算される。少なくとも２つの異なる形状およびサイズのフィルタから合成相関値が乗算によって計算される。合成相関値を分析することによって、他の画像における対応するピクセルが見つけられる。

【0063】

この方法は立体的な深さを計算するためおよび/またはオプティカルフローを計算するために使うことができる。合成された相関値の分析は最大の選択である。少なくとも２つの異なる形状および/またはサイズのフィルタは水平に長いフィルタ、垂直に長いフィルタおよび正方形のフィルタを含むことができる。正方形のフィルタは、本質的に少なくとも２つの空間方向に同じ程度延びる。少なくとも２つの異なる形状および/またはサイズのフィルタは、本質的に同じ形状でサイズが異なるフィルタを含むことができる。一つのピクセルに対する各フィルタの相関値は、フィルタ相関値の乗算合成の前にそのピクセルについてのそのフィルタのすべての相関値の和によって正規化することができる。相関値は、正規化した相互相関、加算した正規化された相互相関、全数変換画像のハミング距離またはランク変換画像の絶対誤差によって計算することができる。

【0064】

さまざまなフィルタの相関値を、たとえばべき乗によって、重み付けすることができる。

【0065】

この発明は、好ましくは深さ概算、動き予測、オブジェクト検出またはオブジェクト追跡などのシステムを装備したロボット、陸、空、海または宇宙の乗り物において採用することができ、少なくとも一つの光学または可視センサ、特に深さ概算のためのステレオカメラ、および計算ユニットを用いて発明の方法を実行する。ロボットは、ロボット的な芝刈り機、車またはモータサイクル（オートバイ）であることができる。

【0066】

一般的に、使用可能な応用分野は、衝突警告、レーン外れ警告、またはクルーズ制御のようなドライバ支援システムである。たとえば、地面の深さ知覚の改良は、走行可能な領域の深さデータの使用を可能にし、これはレーンのマーキングがないかあっても部分的にしかない場合にレーン情報として使うことができる。もう一つの応用分野は、ロボットシステムであり、改良された深さ概算をオブジェクト検出に使うことができる。もう一つの応用は自律的な芝刈り機である。ここでは、地面の改良された深さ概算が障害物の正確な検出に役立ち、衝突センサ(bump sensor)を使うことなく障害物を避けることが可能になる。

【0067】

従来技術と対照的に本発明は、さまざまな形状およびサイズのフィルタの乗算的な合成を使用する。また本発明は相関ウィンドウを小ウィンドウに分割しないが、単独の独立したフィルタまたはパッチの相関を積分する。従来技術における小ウィンドウは強度にさまざまなアンカーポイントを持つが、本発明では、独立のフィルタが同じアンカーポイントを共有する。さらに、従来技術の小ウィンドウは同じサイズであるが、本発明は明確にさまざまなサイズおよび形状のフィルタを使用する。同じサイズの小ウィンドウを使う主な理由はｎベストの小ウィンドウを選択するために使うソートステップである。これが従来技術の手法を強く制限する。これとは対照的に、本発明はソートすることなく統計的な積分に対応する乗算的な合成を使用することによってその制限を克服する。

【0068】

本発明は小さいフィルタと大きいフィルタを組み合わせ、これにより大きいフィルタの貢献により弱いテクスチャの領域においてロバストなマッチングができ、小さいフィルタの貢献により膨張効果（空間深さの崩れ）が最小レベルに保持される。また、垂直に長いフィルタおよび水平に長いフィルタを付加的および/または代替的に組み合わせることにより、垂直フィルタにより垂直構造でロバストなマッチングが得られ、水平フィルタの貢献により水平構造でロバストなマッチングが得られる。

【0069】

図６は、自律的なまたは部分的に自律的な乗り物１を模型的に示しており、この乗り物は乗員による計画的な介入なしに出発点から目的地まで移動する。出発点から目的地までの移動路上で、この乗り物は好ましくはその移動路をルート上の交通状況に適応させる。

【0070】

その環境を知覚するために乗り物１は典型的には環境を知覚する複数のセンサを備え、このシステムは少なくともステレオセンサシステムを有する少なくとも一つの画像センサまたは光学センサのシステム２を備える。基本的にこの場合の知覚は乗り物１がセンサ２によって供給されるデータを処理ユニット３において処理して環境の様子をシンボル化するパラメータを導き出すことを意味する。また、導き出されたパラメータは乗り物から見た環境のビューの仮想（バーチャルな）モデルを形成する。

【0071】

乗り物１は、パラメータを継続的にモニタし、パラメータに基づいて決定を行う、すなわち計算またはパラメータ比較の結果が指定のプロセスの実行に至る結果を導く。この場合、特に乗り物１の環境における物理的オブジェクトまでの距離がモニタされ、結果として得られる距離情報を示すパラメータが評価される。パラメータが具体的な制約またはしきい値に達するとき、決定がなされる。

【0072】

乗り物１は典型的には、ハンドル（ステアリング）を動かすため、乗り物を加速減速するため、および/または乗員と通信するため、のアクチュエータを備える。決定がなされた後、すなわちプロセスが開始された後、自律的な乗り物１は、それぞれのプロセスにおいて規定されたステップ、計算および/または比較に従ってアクチュエータを駆動する。

【0073】

光学センサの少なくともいくつかはカメラであることができ、ナビゲーションを向上させ自律的な乗り物１の進路上のオブジェクト/障害物を避けるため、オプティカルフローを計算するための画像シーケンスを生成するのに使用される。

【0074】

取得した情報（観察）を処理するため、この発明の方法およびシステムは、処理モジュール３を使用する分析手段を使用し、および/または神経回路網（ニューラルネットワーク）を適用し、これは一般に観察から機能（functions）を推論するのに使用することができる。神経回路網は解決すべき課題について事前の知識なしでまたはほとんどなしで作業することを可能にし、また失敗に強い振る舞いをする。対処することができる課題は、たとえば特徴同定、制御（乗り物制御、プロセス制御）、決定、マシーン視覚（映像）、および/またはパターン認識（顔認識、オブジェクト認識、ジェスチャ認識、音声認識、文字およびテキスト認識）などに関する。神経回路網は、ニューロンの集合およびシナプスの集合からなる。シナプスはニューロンを接続し、重みと呼ばれるパラメータに情報を記憶し、重みは神経回路網によって行われる変形および学習プロセスで使用される。

【0075】

典型的には観察を行うために、たとえばディジタル画像情報の、入力信号または入力パターンが検出手段２から受け取られ、ハードウェアユニットおよび/またはソフトウェアコンポーネントを使用して処理される。出力信号または出力パターンが得られ、たとえば映像化の目的でさらなる処理のために他のシステムへの入力となることができる。出力信号として、たとえばオブジェクトまでの距離が出力されることができる。

【0076】

入力信号は動きに影響する検出された特徴についての情報をも含むことができ、一つまたは複数のセンサ、たとえば上述の映像または光学検出手段２、によって供給されることができ、ソフトウェアまたはハードウェアのインターフェイスによって供給される。出力パターンはソフトウェアおよび/またはハードウェアインターフェイスを介して出力されることができ、他のプロセスモジュール３またはアクター（actor）、たとえば乗り物の動きまたは振る舞いに影響を及ぼすために使うことができるパワーステアリング制御またはブレーキ制御、に転送することができる。
この発明によって評価、処理、維持、調整、および実行（たとえば動き変更コマンドまたは駆動コマンド）のために必要とされる計算および変形は、一つまたは複数のプロセッサ（CPU）のような処理モジュール３、信号処理ユニットその他の計算、処理(processing)または計算ハードウェアおよび/またはソフトウェアによって実行されることができ、これらは並列処理で行われてもよい。処理および計算は標準の出来合いの(off-the-shelf、OTS)ハードウェア上または特別に設計されたハードウェアコンポーネント上で実行することができる。プロセッサのCPUは計算を実行し、メインメモリ（RAM、ROM）、制御ユニット、および演算論理ユニット（ALU）を備えることができる。それは特殊化されたグラフィックプロセッサをアドレスすることもでき、これは必要な計算を取り扱うための専用メモリおよび処理能力を提供する。

【0077】

また、通常、データメモリが備えられている。データメモリは、得られた、処理、判定に必要な、情報および/またはデータならびに結果を記憶するために使われる。記憶された情報はこの発明で必要とされる他の処理手段、ユニットまたはモジュールによって使用されることができる。メモリは事象に関係する観察および将来の事象のためのアクションおよび反応に影響を与えるためそれから差し引かれた知識を記憶することを可能にする。

【0078】

メモリは、ハードディスク（SSD、HDD）、ＲＡＭおよび/またはＲＯＭのようなデバイスによって提供されることができ、これらはフロッピーディスク、ＣＤ―ＲＯＭ、テープ、ＵＳＢデバイス、スマートカード、ペンドライブなどのような他の（ポータブル）メモリ媒体によって補足されることができる。この発明の方法をコード化するプログラム、ならびにこの発明のシステムおよび/または方法の応用のためおよび/または応用において、取得され、処理され、学ばれ、必要とされるデータは、それぞれのメモリ媒体に記憶されることができる。

【0079】

特に、この発明によって記述された方法は（たとえばポータブルの）物理的メモリ媒体上のソフトウェアプログラム製品として提供されることができ、このメモリ媒体は、処理システムまたはコンピュータデバイスにプログラム製品を転送し、処理システムまたはコンピューティングデバイスにこの発明の方法を実行するよう命令させることができる。さらに、この方法は、コンピューティングデバイス上で直接実行することができ、またはコンピューティングデバイスと組み合わせて提供されることができる。

【0080】

本発明は上記の実施例に限定されるものではなく、特許請求の範囲に規定される本発明の範囲から逸脱することなく、多くの変更、修正が可能であることが理解されねばならない。

【0081】

専門用語
ステレオカメラ：
ステレオカメラは、２つのレンズを持つタイプのカメラで、各レンズが別々の画像センサを持つ。しばしば、実際にステレオカメラは装置(rig)に取り付けられた２つの別々のカメラからなる。この場合、カメラは固定でも可動でもよい。固定の場合、カメラは画像センサと同一平面（並列設定）になるよう位置合わせされている。可動の場合、ステレオカメラは、通常、人の目のよせ運動（vergence、両眼離反運動）をまねるのに使用される。

【0082】

膨張効果： ステレオカメラ設定の２つのカメラの間の対応サーチによって視差（または深さ）マップを計算するときにこの効果が生じる。最も傑出した変形は前景膨張である。この場合、前景のピクセルの視差値が背景ピクセルを汚して咬合(occlusion)境界付近の背景ピクセルについて誤った視差を導くことになる。視差マップにおけるオブジェクトは大きくなったように見えるのでこの効果は膨張（fattening）と呼ばれる。

【0083】

マッチング（突き合わせ）ウィンドウ：
（マッチング）パッチまたは（マッチング）フィルタとも呼ばれる。ステレオプロセスでは、これは画像の小さいサブ部分（画像パッチ）のことをいう。典型的には、一つの画像からのマッチングウィンドウは他の画像の同じサイズおよび形状のマッチングウィンドウと比較される。しばしば、画像フィルタリングによって複数のこれらの比較が一緒に行われ、ウィンドウ自身がしばしばフィルタと呼ばれる。したがって、フィルタサイズ、ウィンドウサイズ、およびパッチサイズは、同じものであり、マッチングウィンドウのサイズをいう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】