特許 6352216 ステレオオブジェクト検出及び距離計算のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6352216

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】ステレオオブジェクト検出及び距離計算のためのシステム及び方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20180625BHJP

   G06T 1/00 20060101ALI20180625BHJP

   G08G 1/16 20060101ALI20180625BHJP

【ＦＩ】

   G01C3/06 110V

   G06T1/00 315

   G08G1/16 C

【請求項の数】5

【外国語出願】

【全頁数】16

(21)【出願番号】特願2015-83589(P2015-83589)

(22)【出願日】2015年4月15日

(65)【公開番号】特開2015-203703(P2015-203703A)

(43)【公開日】2015年11月16日

【審査請求日】2015年6月5日

(31)【優先権主張番号】1347/MUM/2014

(32)【優先日】2014年4月16日

(33)【優先権主張国】IN

【前置審査】

(73)【特許権者】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100100158

【弁理士】

【氏名又は名称】鮫島 睦

(74)【代理人】

【識別番号】100125874

【弁理士】

【氏名又は名称】川端 純市

(74)【代理人】

【識別番号】100189544

【弁理士】

【氏名又は名称】柏原 啓伸

(72)【発明者】

【氏名】マノジ・シー・アール

(72)【発明者】

【氏名】プラブデヴ・パティル

【審査官】 國田 正久

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０１２１５６１（ＵＳ，Ａ１）

【文献】 特開２００６−３２２７９７（ＪＰ，Ａ）

【文献】 特開２０１１−１９１９０５（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０５４１２４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための方法において、
乗物の経路に現れるオブジェクトを含む左画像及び右画像をプロセッサにより受信するステップであって、左画像及び右画像は乗物と結合するステレオカメラにより捕獲され、左画像及び右画像は第１のセットのピクセルと第２のセットのピクセルを夫々含み、第１のセットのピクセルと第２のセットのピクセルは第１のマトリクスと第２のマトリクスの夫々に分離して配置され、第１のマトリクスと第２のマトリクスは行と列を含む、ステップと、
第１のセットのピクセルのサブセットを第２のセットのピクセルのサブセットとマッチングすることであって、第１のマトリクスの第１のセットのピクセルの、個々のピクセルは、第２のセットのピクセル内の、その対応するピクセルとマッチし、第１のセットのピクセルのサブセットは第１のマトリクス内の所定の行と所定の列に対応し、第２のセットのピクセルのサブセットは第２のマトリクス内の所定の行と所定の列に対応する、ことと、
前記マッチングすることに基づいて視差マップを生成することであって、視差マップが第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく視差値を含み、第１のマトリクスと第２のマトリクスの残余の行のセットに対応するピクセルに対して、対応する従前の行におけるピクセルの視差値が提供され、第１のマトリクスと第２のマトリクスの残余の列のセットに対応するピクセルに対して、ヒューリスティックモデルにより到来するピクセルの点での飽和値が提供される、こととにより、
左画像及び右画像上にセミグローバルマッチング技術をプロセッサで適用するステップと、
三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算するステップと
を含む
方法。

【請求項2】

更に、ソベルフィルタを用いて左画像及び右画像のエッジを判別するステップを含む
請求項１に記載の方法。

【請求項3】

乗物（１０８）と、乗物（１０８）の経路に現れるオブジェクトとの間の距離を計測するためのシステム（１０２）において、
プロセッサ（２０２）と、
プロセッサ（２０２）へ結合するメモリ（２０６）であって、メモリ（２０６）はプロセッサ（２０２）により実行可能である、内部に格納された複数のモジュール（２０８）を有し、複数のモジュール（２０８）は、
乗物の経路に現れるオブジェクトを含む左画像及び右画像を受信する受信モジュール（２１０）であって、左画像及び右画像は乗物と結合するステレオカメラにより捕獲され、左画像及び右画像は第１のセットのピクセルと第２のセットのピクセルを夫々含み、第１のセットのピクセルと第２のセットのピクセルは第１のマトリクスと第２のマトリクスの夫々に分離して配置され、第１のマトリクスと第２のマトリクスは行と列を含む、受信モジュール（２１０）と、
第１のセットのピクセルのサブセットを第２のセットのピクセルのサブセットとマッチングすることであって、第１のマトリクスの第１のセットのピクセルの、個々のピクセルは、第２のセットのピクセル内の、その対応するピクセルとマッチし、第１のセットのピクセルのサブセットは第１のマトリクス内の所定の行と所定の列に対応し、第２のセットのピクセルのサブセットは第２のマトリクス内の所定の行と所定の列に対応する、ことと、
前記マッチングに基づいて視差マップを生成することであって、視差マップが第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく視差値を含み、第１のマトリクスと第２のマトリクスの残余の行のセットに対応するピクセルに対して、対応する従前の行におけるピクセルの視差値が提供され、第１のマトリクスと第２のマトリクスの残余の列のセットに対応するピクセルに対して、ヒューリスティックモデルにより到来するピクセルの点での飽和値が提供される、こととにより、
左画像及び右画像上にセミグローバルマッチング技術を適用するセミグローバルマッチングモジュール（２１６）と、
三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算する距離計算モジュール（２１８）と
を含む
システム（１０２）。

【請求項4】

更に、左画像及び右画像のエッジを判別するソベルフィルタ（２１２）を含む
請求項３に記載のシステム（１０２）。

【請求項5】

乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための計算装置で実行可能なプログラムを統合する持続性コンピュータ読み取り可能媒体において、
プログラムは、
乗物の経路に現れるオブジェクトを含む左画像及び右画像を受信するプログラムコードであって、左画像及び右画像は乗物と結合するステレオカメラにより捕獲され、左画像及び右画像は第１のセットのピクセルと第２のセットのピクセルを夫々含み、第１のセットのピクセルと第２のセットのピクセルは第１のマトリクスと第２のマトリクスの夫々に分離して配置され、第１のマトリクスと第２のマトリクスは行と列を含む、プログラムコードと、
第１のセットのピクセルのサブセットを第２のセットのピクセルのサブセットとマッチングすることであって、第１のマトリクスの第１のセットのピクセルの、個々のピクセルは、第２のセットのピクセル内の、その対応するピクセルとマッチし、第１のセットのピクセルのサブセットは第１のマトリクス内の所定の行と所定の列に対応し、第２のセットのピクセルのサブセットは第２のマトリクス内の所定の行と所定の列に対応する、ことと、
前記マッチングに基づいて視差マップを生成することであって、視差マップが第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく視差値を含み、第１のマトリクスと第２のマトリクスの残余の行のセットに対応するピクセルに対して、対応する従前の行におけるピクセルの視差値が提供され、第１のマトリクスと第２のマトリクスの残余の列のセットに対応するピクセルに対して、ヒューリスティックモデルにより到来するピクセルの点での飽和値が提供される、こととにより、
左画像及び右画像上にセミグローバルマッチング技術を適用するプログラムコードと、
三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算するプログラムコードと
を含む
持続性コンピュータ読み取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照及び優先権
本出願は、２０１４年４月１６日出願の印度国仮特許出願第１３４７／ＭＵＭ／２０１４号の優先権を主張するものであり、その全体が参照の上、本明細書に組み込まれる。

【0002】

本明細書に記載の本開示は、概略、自動車ドライバ支援及び安全システムに関し、特に、短から中の範囲内でオブジェクトを検出しステレオカメラを用いて検出したオブジェクトの距離を計算するシステム及び方法に関する。

【背景技術】

【0003】

道路事故及び関連する犠牲者に関する統計分析は、道路の安全及びドライバ支援の機能が自動車デザイン及び製造産業において極めて重要である、という事実を世界的に強調するものである。道路事故の原因となる重要なファクタの一つは、ドライバの無知か、道路上の範囲の減少した視界かの、いずれかである。今日自動車の一般的特徴であるシートベルト、エアバッグ、アンチロックブレーキングシステム（ＡＢＳ）などの、従来の安全特徴は、ドライバが、事故の重症度を減少させる助けとなる。しかしながら、高度ドライバ支援システム（ＡＤＡＳ）の特徴は、初期のアラートをドライバに与えることでドライバが実際に事故を回避する助けをし、求められれば車のコントロールをドライバから引き受けるものである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、衝突回避システム（ＣＡＳ）の場合、乗物の経路で障害物が検出されると、オンボードカメラ、及びオンボードマイクロプロセッサにより実行される画像処理アルゴリズムの助けにより、自動ブレーキが適用される。ＣＡＳが実効的であるためには、ＣＡＳには、５ｍ程度の近接距離までのオブジェクトを検出する正確さが必要である。同時に、ＣＡＳはドライバにリアルタイムのレスポンスを与えることができるように、計算上効率性を備える必要がある。

【課題を解決するための手段】

【0005】

一つの実装では、乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するためのシステムが開示される。システムは、プロセッサと、プロセッサへ結合するメモリを含む。プロセッサは、メモリ内に格納される複数のモジュールを実行する。複数のモジュールは、受信モジュール、セミグローバルマッチングモジュール、距離計算モジュールを含む。受信モジュールは、乗物の経路に現れるオブジェクトを含む左画像及び右画像を受信し得る。左画像及び右画像は乗物と結合するステレオカメラにより捕獲され得る。更に、左画像及び右画像は第１のセットのピクセルと第２のセットのピクセルを夫々含み得る。更に、第１のセットのピクセルと第２のセットのピクセルは第１のマトリクスと第２のマトリクスの夫々に分離して配置され得、第１のマトリクスと第２のマトリクスは行と列を含む。更に、セミグローバルマッチングモジュールは、第１のセットのピクセルのサブセットを第２のセットのピクセルのサブセットとマッチングすることにより、左画像及び右画像上にセミグローバルマッチング技術を適用し得る。第１のセットのピクセルのサブセットは第１のマトリクス内の所定の行と所定の列に対応し得る。更に、セミグローバルマッチングモジュールは、マッチングに基づいて視差マップを生成し得る。生成される視差マップは、第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく視差値を含み得る。更に、距離計算モジュールは、三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算し得る。

【0006】

別の実装では、乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための方法が開示される。方法は、乗物の経路に現れるオブジェクトを含む左画像及び右画像をプロセッサにより受信するステップを含み得る。左画像及び右画像は乗物と結合するステレオカメラにより捕獲され得る。更に、左画像及び右画像は第１のセットのピクセルと第２のセットのピクセルを夫々含み得る。更に、第１のセットのピクセルと第２のセットのピクセルは第１のマトリクスと第２のマトリクスの夫々に分離して配置され得、第１のマトリクスと第２のマトリクスは行と列を含み得る。方法は更に、第１のセットのピクセルのサブセットを第２のセットのピクセルのサブセットとマッチングすることにより、左画像及び右画像上にセミグローバルマッチング技術をプロセッサで適用するステップを含み得る。第１のセットのピクセルのサブセットは第１のマトリクス内の所定の行と所定の列に対応し得る。更に、方法は、マッチングに基づいて視差マップを生成するステップを含み得る。生成される視差マップは、第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく視差値を含み得る。方法は更に、三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算するステップを含み得る。

【0007】

更に別の実装では、乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための計算装置で実行可能なプログラムを統合する持続性コンピュータ読み取り可能媒体が開示される。プログラムは、乗物の経路に現れるオブジェクトを含む左画像及び右画像を受信するプログラムコードを含み得る。左画像及び右画像は乗物と結合するステレオカメラにより捕獲され得る。更に、左画像及び右画像は第１のセットのピクセルと第２のセットのピクセルを夫々含み得る。更に、第１のセットのピクセルと第２のセットのピクセルは第１のマトリクスと第２のマトリクスの夫々に分離して配置され得、第１のマトリクスと第２のマトリクスは行と列を含む。プログラムは更に、第１のセットのピクセルのサブセットを第２のセットのピクセルのサブセットとマッチングすることにより、左画像及び右画像上にセミグローバルマッチング技術を適用するプログラムコードを含み得る。第１のセットのピクセルのサブセットは第１のマトリクス内の所定の行と所定の列に対応し得る。更に、プログラムは、マッチングに基づいて視差マップを生成するプログラムコードを含み得る。視差マップは、第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく視差値を含み得る。プログラムは更に、三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算するプログラムコードを含み得る。

【図面の簡単な説明】

【0008】

発明の詳細な説明は、添付の図面を参照して記載される。図面では、参照番号の一番左の数字は、参照番号が最初に現れる図面を特定する。同様の特徴や部品を示すのに、図面を通して同じ番号が用いられる。

【図1】図１は、本開示の実施形態に係る、乗物とオブジェクトとの間の距離を測定するシステムのネットワーク実装を示す。

【図2】図２は、本開示の実施形態に係る、システムを示す。

【図3A】図３Ａは、本開示の実施形態に係る、システムの詳細な説明を示す。

【図3B】図３Ｂは、本開示の実施形態に係る、システムの詳細な説明を示す。

【図4】図４は、本開示の実施形態に係る、相違点の定義及び計算を示す。

【図5】図５は、本開示の実施形態に係る、視差空間のコストの集約を示す。

【図6】図６は、本開示の実施形態に係る、乗物とオブジェクトとの間の距離を測定する方法を示す。

【発明を実施するための形態】

【0009】

乗物と、乗物の経路内に現れるオブジェクトとの間の距離を計測するシステム及び方法を記載する。乗物、動物若しくは他の任意のオブジェクトのような、様々なオブジェクトが、道路上を運転中の乗物の前に現れ得る。これらのオブジェクトを検出し、乗物からのこれらのオブジェクトの位置を配置することは、道路の安全における主要関心事である。これらのオブジェクトの位置を検出することは、乗物のドライバ若しくは他の任意の権限者が事故の機会を防ぐ若しくは回避する助けとなる。本開示の実施形態によると、乗物に結合するステレオカメラが、乗物の経路上に現れる一つ以上のオブジェクトの左画像及び右画像を捕獲し得る。第１のステップでは、システムは、ステレオカメラにより捕獲される左画像及び右画像を受信し得る。左画像及び右画像は、乗物の経路に現れるオブジェクトを含み得る。左画像及び右画像は正規化され、更に、照明条件や地形を変更するような種々のシナリオの下で左画像及び右画像の品質を改良するように拡張され得る。拡張後、左画像及び右画像は、画像のサブピクセルレベル処理を可能にするように補間され得る。補間のレベルは、ステレオカメラのパラメータ、及び、検出即ち、オブジェクトのターゲット距離に基づいて、予め規定され得る。

【0010】

続いて、左画像及び右画像のサブピクセルレベルにてセミグローバルマッチングアプローチが用いられ、左画像と右画像の間のベストマッチピクセルを見出し得る。本開示の実施形態によると、セミグローバルマッチングアプローチは、ピクセルマッチングのローカル方法とグローバル方法の両方を効率的に組み合わせてシステムに最適ルーチンパフォーマンスを与えることが可能であり、更に、低コストでハードウエアでも実装され得る。マッチングに基づいて、視差マップが生成され得る。生成される視差マップは、左画像及び右画像のピクセルのマッチングに基づいて得られる視差値を含み得る。更に、システムは、三角測量技術を用いて、視差値、ステレオカメラの焦点長、及びステレオカメラの基線に基づいてオブジェクトと乗物との間の距離を計算し得る。

【0011】

乗物と乗物の経路に現れるオブジェクトとの間の距離を計測する、前述のデバイス及び方法に関する形態が、複数の様々な計算機、環境及び／又は構成にて実装可能であるならば、以下の例示のデバイスの文脈で実施形態を記載する。

【0012】

図１を参照して、本開示の実施形態に係る、乗物（１０８）と乗物（１０８）の経路に現れるオブジェクトとの間の距離を計測するシステム１０２のネットワーク実装１００が示される。一つの実施形態では、システム１０２は、乗物（１０８）の経路上に現れるオブジェクトの距離を計算する助けとなる。本開示の内容は、システム１０２がサーバ上のソフトウエアアプリケーションとして実装されることを考慮しつつ、説明されているが、当然ながら、システム１０２は、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピュータ、サーバ、ネットワークサーバ、タブレット、モバイルフォンなどの、様々なコンピュータシステムとしても実装され得る。一つの実装では、システム１０２は、クラウドベース環境で実装され得る。実施形態により、ステレオカメラ１０４は乗物１０８と結合し得る。更に、ステレオカメラ１０４は、ネットワーク１０６を介して、システム１０２に通信自在に結合し得る。

【0013】

一つの実装では、ネットワーク１０６は、無線ネットワークでも、有線ネットワークでも、それらの組み合わせでもよい。ネットワーク１０６は、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどの、様々なタイプのネットワークの一つとして、実装されてもよい。ネットワーク１０６は、専用ネットワークでも、共有ネットワークでもよい。共有ネットワークは、例えば、ハイパーテキストトランスファプロトコル（ＨＴＴＰ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、無線アプリケーションプロトコル（ＷＡＰ）などの、種々のプロトコルを利用して、相互に通信する、異なるタイプのネットワークの接続を表す。更に、ネットワーク１０６は、ルータ、ブリッジ、サーバ、計算機、記憶装置などを含む、種々のネットワークデバイスを含み得る。

【0014】

図２を参照して、システム１０２は、本開示の実施形態に従って示される。一つの実施形態では、システム１０２は、少なくとも一つのプロセッサ２０２、インプット／アウトプット（Ｉ／Ｏ）インタフェース２０４、及びメモリ２０６を含み得る。少なくとも一つのプロセッサ２０２は、一つ以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタルシグナルプロセッサ、中央処理装置、ステートマシン、論理回路、及び／又は、動作命令に基づいて信号を操作する任意のデバイスとして、実装され得る。幾つかある能力の中で、少なくとも一つのプロセッサ２０２は、メモリ２０６内に記録されたコンピュータ読み出し自在命令若しくはモジュールを、フェッチして実行するように構成されている。

【0015】

Ｉ／Ｏインタフェース２０４は、例えば、ウェブインタフェース、グラフィカルユーザインタフェースなどの、種々のソフトウエア及びハードウエアインタフェースを含み得る。Ｉ／Ｏインタフェース２０４により、システム１０２は直接的に若しくはユーザデバイスを介してユーザと相互に作用することができる。更に、Ｉ／Ｏインタフェース２０４により、システム１０２は、乗物１０８と結合するステレオカメラ１０４と、及び、ウエブサーバや外部データサーバ（図示せず）などの他の計算機と、通信することができる。Ｉ／Ｏインタフェース２０４は、例えば、ＬＡＮ、ケーブルなどの有線ネットワーク、及び、ＷＬＡＮ、セルラーもしくはサテライトなどの無線ネットワークを含む、多種多様のネットワーク及びプロトコルタイプの範囲内での、多重通信を促進し得る。Ｉ／Ｏインタフェース２０４は、複数のデバイスを相互に、若しくは別のサーバに接続するための、一つ以上のポートを含み得る。

【0016】

メモリ２０６は、静的ランダムアクセスメモリ（ＳＲＡＭ）及び動的ランダムアクセスメモリ（ＤＲＡＭ）などの、例えば、揮発性メモリや、リードオンリメモリ（ＲＯＭ）、消去可能ＰＲＯＭ、フラッシュメモリ、ハードディスク、光学ディスク、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク若しくはデジタルビデオディスク（ＤＶＤ）、及び磁気テープなどの、不揮発性メモリ含む、周知のコンピュータ読み取り可能媒体又はコンピュータプログラムプロダクトを含み得る。メモリ２０６は、モジュール２０８及びデータ２３２を含み得る。

【0017】

モジュール２０８は、特定のタスクを実行する、若しくは、特定の抽象的データタイプを実装する、ルーティン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。一つの実装では、モジュール２０８は、受信モジュール２１０、ソベルフィルタ２１２、補間モジュール２１４、セミグローバルマッチングモジュール２１６、距離計算モジュール２１８、及び他のモジュール２２０を含み得る。他のモジュール２２０は、システム１０２のアプリケーション及び機能を補う、プログラム若しくはコード化命令を含み得る。

【0018】

データ２２２は、とりわけ、一つ以上のモジュール２０８により処理され、受信され及び生成されるデータを格納するリポジトリとして機能する。データ２２２は、データス取れ２２４、及び他のデータ２２６も含み得る。他のデータ２２６は、他のモジュール２２０内の一つ以上のモジュールの実行の結果として生成されるデータを含み得る。

【0019】

図３Ａ−３Ｂを参照すると、本開示の実施形態に係る、システムの詳細な動作が示される。システム１０２は、乗物１０８と乗物１０８の経路内に現れるオブジェクトとの間の距離を計測するように構成されている。実施形態によると、ステレオカメラ１０４が乗物１０８と結合し得る。ステレオカメラ１０４は、乗物１０８の経路内に現れるオブジェクトの左画像及び右画像を含む画像を捕獲するように構成され得る。第１のステップでは、ステレオ１０２の受信モジュール２１０は、ステレオカメラ１０４からの左画像及び右画像を受信し得る。左画像及び右画像は、乗物１０８の経路内に現れるオブジェクトを含み得る。更に、左画像及び右画像は、第１のセットのピクセルと第２のセットのピクセルとを、夫々含み得る。更に、第１のセットのピクセルと第２のセットのピクセルは、第１のマトリクスと第２のマトリクスの夫々に、分離して配置され、第１のマトリクスと第２のマトリクスは、行と列とを含み得る。更に、左画像及び右画像からエッジを検出するために、システム１０２のソベルフィルタ２１２が左画像及び右画像上に適用され得る。

【0020】

更に、補間モジュール２１４は、ピクセルのマッチングの効率性の向上をサポートし得、拡張された左画像及び右画像が補間されてサブピクセルレベルプロセッシングを可能にし得る。補間のレベルは、検出距離（即ち、オブジェクトのターゲット距離）及びステレオカメラのパラメータに基づいて、決定され得る。

【0021】

更に、システム１０２のセミグローバルマッチングモジュール２１６は、左画像及び右画像上にセミグローバルマッチング技術を適用するように構成され得る。従来利用可能なセミグローバルマッチング技術は、低コスト埋め込みシステムで実装するには計算上複雑であり且つ重い。よって、埋め込みシステム内での計算上の複雑さを減少するため、本開示は、従来のセミグローバルマッチング技術に修正を加える。修正により、埋め込みシステムの実行時間若しくは稼働時間の減少に繋がる。本開示の実施形態によると、システム１０２のセミグローバルマッチングアルゴリズム２１８は、第１のセットのピクセルのサブセットを第２のセットのピクセルとマッチングすることにより、セミグローバルマッチング技術を適用される。第１のセットのピクセルのサブセットは、第１のマトリクスの所定の行及び所定の列に対応し得る。よって、本開示では、セミグローバルマッチングモジュール２１８は、全ての行及び列からピクセルを選択するのでは無く、マッチングのために（第１のセットのピクセルに対応する）第１のマトリクスのうちの選択された行及び列から僅かなピクセルしか選択しない。マッチングに基づいて、視差マップが生成され得る。更に、生成された視差マップは、第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づいて、視差値を含み得る。選択された行及び列のみが、ピクセルをマッチングしている間に考慮されたので、当然のことながら、（選択された行及び列以外の）行及び列の残りのセットは計算されないまま（即ち、何ら視差値を生じていないまま）となっている可能性がある。このため、セミグローバルマッチングモジュール２１６は、これらの計算されていない列を、次には最終視差マップを計算するのに用いられる飽和コスト凝集値で埋めてもよい。計算されていない行に対しては、前の行の行データで、最終視差値が満たされてもよい。このアプローチにより。視差値の質更にはオブジェクトへの距離計算は大部分影響を受けないが、同時に、視差計算の処理時間は、大幅に改善し、低コストハードウエアへのリアルタイム実装が可能になる。

【0022】

本開示の一つの例では、第１のセットのピクセルのうち、第１のマトリクスのうちの２行３列（即ち、選択された行及び列）の間隔にて存在する、個々のピクセルは、第２のセットのピクセル内の対応するピクセルとマッチされる、というように第１のセットのピクセルのサブセットがマッチされ得る。別の例では、第１のセットのピクセルのうち、第１のマトリクスのうちの３行４列（即ち、選択された行及び列）の間隔にて存在する、個々のピクセルは、第２のセットのピクセル内の対応するピクセルとマッチされる、というように第１のセットのピクセルのサブセットがマッチされ得る。更に、第１のセットのピクセル及び第２のセットのピクセルのうち、計算されていない行に対しては、ピクセルの従前の値が視差マップ内に提供され得る。更に、第１のセットのピクセル及び第２のセットのピクセルのうち、計算されていない列に対しては、ヒューリスティックモデルにより到来する飽和値が、次には視差マップを計算するのに用いられる凝集コスト値として、提供され得る。セミグローバルマッチング技術を適用するのに、行及び列の間隔は様々な順列及び組み合わせで選択され得る。更に、行及び列の様々な間隔における上記マッチングにより、システム１０２の最適なランタイムへ導かれる。

【0023】

更に、セミグローバルマッチングアルゴリズムは、視差マップの質を拡張し、難しい撮像得条件下でのロバスト性の観点で性能が優れている。図３Ａ及び図３Ｂに示すように、セミグローバルマッチングモジュール２１６により実行されるステップは、ａ）マッチングコストの計算、ｂ）マッチングコストを統合すること、及びｃ）視差を計算／最適化することを、含む。セミグローバルマッチングアルゴリズムの詳細な説明は、明細書の後続の段落で行う。

【0024】

マッチングコスト計算アプローチは、インテンシティ若しくはカラーの、絶対値、二乗、若しくはサンプリングの無感受差異に基づく。コストは放射測定差異に敏感であるので、画像勾配に基づくコストも用いられ得る。マッチングコスト計算アプローチでは、絶対値インテンシティ差異の合計（ＳＡＤ）と勾配ベースの計測とを組み合わせる自己適用相違点計測が、以下のように、組み込まれ得る。

【0025】

【数1】

【0026】

ここで、Ｎ（ｘ、ｙ）３×３は、位置（ｘ、ｙ）における周辺ウインドウ、
Ｎｘ（ｘ、ｙ）は、最右列の無い周辺ウインドウ、
Ｎｙ（ｘ、ｙ）は、最下行の無い周辺ウインドウ、
▽ｘは、右への正勾配、および、
▽ｙは、底への正勾配である。

【0027】

Ｃ_ＳＡＤとＣ_ＧＲＡＤとの間の最適重み付けωは、ウイナーテークオールの最適化と連結して、即ち、最低マッチングコストで視差を選択する、クロスチェキングテストを適用することにより、即ち、左から右への及び右から左への視差マップを対比することにより、フィルタアウトされる信頼性のある一致の数を最大化することで、決定され得る。結果としての相違点計測は以下の式で与えられる。

【0028】

【数2】

【0029】

更に、信頼性のある一致は、相違点計測を正規化するのに用いられるＳＮ比（ＳＮＲ）を予想するのに利用され得る。正規化により、固定の切り捨て閾値は、ロバストマッチングスコアを取得するのに、ノイズレベルより上に正しく設定され得る。

【0030】

更に、ピクセル間の相違点は、量およびその対称の対応部分の最小限として、計算される、よって、視差（ｄ）の定義は対称である。視差の定義及び計算は図４に示される。

【0031】

【数3】

【数4】

【数5】

【数6】

【0032】

マッチングコスト計算アプローチでは、コストバッファにて貯蔵される左画像に対応する第１のセットのピクセルのあらゆるピクセルに対して、Ｃ（ｄ）＝｜Ｉｂ（ｘ、ｙ）−Ｉｍ（ｘ−ｄ、ｙ）｜である。コストバッファのサイズは［（ｗｉｄｔｈ−ｍａｘＤ）^＊ｍａｘＤ］であり、左画像の第１のセットのピクセル空のあらゆる画像は、右画像の第２のセットのピクセル内で（１〜ｍａｘＤ）エレメントと比較され、差異値は、コストバッファ内に貯蔵される、即ち、コストバッファの個々の行は、左画像のあらゆるピクセルに対して３２／６４／９６ピクセル差異値を含む。コストバッファは、後で目的機能及びコスト集約を見出すのに用いられる。

【0033】

更に、コスト集約にて、ピクセルの点でのコスト計算は、一般に曖昧であり、ノイズにより、間違ったマッチが正確なものより低いコストを容易に生じ得る。従って、これを克服するために、隣接する視差の変化を不利にすることにより、円滑さをサポートする、更なる制約が加えられてもよい。ピクセルの点からのコスト、及び円滑さの制約は、視差画像Ｄに依存するエネルギＥ（Ｄ）を定義することで表される。本開示の一つの実施形態によると、段落００３０〜００３６で説明するステップは、左画像に関連する第１のマトリクスの３行毎の間隔で現れるピクセル上で、実行され得る。更に、コスト集約は、選択されたセットの列のみに表れるピクセル上でも実行され得る。残余の列（計算されない列）に対して、ピクセルの点でのコストは、ヒューリスティックモデルを用いて到来するコストの飽和値で充たされ得る。

【0034】

【数7】

【0035】

＝（Ｄの視差に対する全てのマッチングコストの合計）＋（視差が少し変化する、ｐの近傍（即ち、１ピクセル）の全てのピクセルに対する一定ペナルティＰ１の合計）＋（全てのより大きい視差変化に対する、より大きい一定ペナルティＰ２の合計）

【0036】

小さい変化に対するより低いペナルティを用いることで、傾斜した若しくは湾曲した表面に対する適応が許容される。全てのより大きい変化に対する一定のペナルティは、不連続を保つ。インテンシティが変化すると不連続が見られることが多い。ステレオマッチングの問題点は、エネルギＥ（Ｄ）を最小化する視差画像Ｄを見出すこととして、定式化され得る。ピクセルｐ及び視差ｄに対する、集約された（円滑にされた）コストＳ（ｐ、ｄ）は、図５に示されるように、視差（ｄ）におけるピクセルｐにて終わる全ての１Ｄ最小限コスト経路のコストを合計することにより、計算される。図５に示す経路は、視差空間を介して、ベース画像内にストレートラインとして投射されるが、経路沿いの視差変化に従って、対応するマッチ画像内には非ストレートラインとして投射される。経路のコストが要求され経路それ自身は要求されないということには、注目すべきである。

【0037】

視差（ｄ）における経路ｐの方向ｒに行き来する経路沿いのコストＬ‘ｒ（ｐ、ｄ）は、以下のように再帰的に定義される。

【0038】

【数8】

【0039】

しかしながら、上方リミットは、Ｌ＜＝Ｃｍａｘ＋Ｐ２として与えられ得る。コストＬｒは、全ての方向ｒの経路に亘って合計される。経路の数は５として選択されている。これが２−ｄ画像の良好なカバレッジを提供するのに十分であるからである。

【0040】

【数9】

【0041】

Ｓに対する上方リミットは、５経路に対してＳ＜＝８（Ｃｍａｘ＋Ｐ２）として容易に決定される。効率的な実装は、ピクセルの点でのマッチングコストＣ（ｐ、ｄ）を予め計算し、１１ビット整数値にダウンスケールする。更に、１１ビットのスケーリングは、後続の計算での集約コストは、１６ビットリミットを超過しないことを保証する。全てのコストは、サイズＷ×Ｈ×Ｄの１６ビットアレイＣ［］内に格納される。計算は、Ｌｒ（ｂ、ｄ）＝Ｃ［ｂ、ｄ］として画像の全てのピクセルｂにて個々の方向ｒに対して開始する。経路は、コスト方程式に従って順方向に行き来する。経路沿いの、個々の調査されるピクセルに対して、コストＬｒ（ｐ、ｄ）が、全ての視差ｄに対する値Ｓ［ｂ、ｄ］に加えられる。（１３）の計算は個々のピクセルにおけるＯ（Ｄ）ステップを要求する。従前のピクセルの最小限コスト、例えば、ｍｉｎｋ Ｌｒ（ｐ−ｒ、ｋ）は、ピクセルの全ての視差に対して一定であり、予め計算され得るからである。個々のピクセルは、正確に１６回調査され、これにより、Ｏ（ＷＨＤ）の全体の複雑性となる。通常の構造及び簡素なオペレーション、即ち、追加及び対比により、整数ベースのＳＩＭＤ（シングルインストラクションマルチプルデータ）インストラクションを用いるパラレル計算が許容される。

【0042】

更に、２次元でのＥ（Ｄ）を最小限化することは、非常にコストがかかり得る。従って、セミグローバルマッチングアルゴリズムは、１次元の経路を行き来することにより最適化を簡素化し、これらの明確な方向に関する制約を確かにする。このアプローチは、コスト集約として知られる第２のフェーズを要求する。以下の式（３）は、任意の画像の行ｙ内の左から右への水平経路に対するプロシージャを記載する。

【0043】

【数10】

【0044】

個々のピクセル及び個々の視差Ｓ（ｘ、ｙ、ｄ）に対する最終の（円滑化された）コストは、全ての方向ｒの経路のコストＥｒ（ｘ、ｙ、ｄ）を合計することにより、次のように取得される。

【0045】

【数11】

【0046】

視差計算／最適化アプローチに従って、ベース画像Ｉｂに対応する視差画像Ｄｂは、最小限コスト、即ち、ｍｉｎｄ Ｓ［ｐ、ｄ］に対応する視差ｄを個々のピクセルｐに対して選択するローカルステレオ方法内として決定される。サブピクセル評価に対しては、二次曲線が、隣接するコストを介して、即ち、次のより高い及びより低い視差においてフィットされ、最小限の位置が計算される。二次曲線を用いることは、二乗の差異の合計を用いる訂正に対してのみ、理論上正当化される。マッチ画像Ｉｍに対応する視差画像は、マッチ画像のピクセルｑに対応するエピポーララインを行き来することにより、同じコストから決定され得る。再び、視差ｄが選択され得、これは最小限コスト、即ち、ｍｉｎｄ Ｓ［ｅｍｂ（ｑ、ｄ）、ｄ］に対応する。しかしながら、コスト集約ステップは、ベース及びマッチ画像を対称的に取り扱わない。Ｄｍが、スクラッチから、即ち、ピクセルの点でのマッチング及び集約を、但しＩｍをベースとしＩｂをマッチ画像として、実行することにより、計算されるならば、僅かに良好な結果が得られ得る。僅かに良好なオブジェクトボーダに対して、増加するランタイムが受入可能か否かは、アプリケーションに依存する。異常値は、小さいウインドウ、即ち３×３を伴う、メジアンフィルタを用いて、Ｄｂ及びＤｍからフィルタされる。

【0047】

Ｄｍと共にＤｂの計算により、一貫性チェックを実行することによる閉塞及び誤合致の決定が許容される。Ｄｂの個々の視差は、Ｄｍの対応する視差と対比される。両者が異なれば、視差は無効（Ｄｉｎｖ）にセットされる。

【0048】

【数12】

【0049】

視差値（Ｄｐ）が計算されていない、視差マップの行に対して、（前述のように）選択された行に対応する予め計算された視差で埋められ得る。一貫性チェックは、ワンツーワンマッピングのみを許容することにより、固有の制約を強制する。視差計算及び一貫性チェックは、一定数の回数で個々の視差において個々のピクセルを調査することを要求する。

【0050】

更に、システム１０２の距離計算モジュール２２０は、三角測量技術を用いることにより、視差値、ステレオカメラ１０４の焦点距離、及びステレオカメラ１０４のベースラインに基づいて、オブジェクトと乗物の間の距離を計算する。更に、距離はｄ＝Ｂ^＊ｆ／（ｘｌ−ｘｒ）として計算可能であり、ここでＢはベースライン、即ち、２台のステレオカメラの間の距離であり、ｆは、データ統合、機能／能力統合、特性統合、及びレポート統合におけるステレオカメラサポートの焦点距離である。

【0051】

図６を参照すると、本開示の実施形態に係る、乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測する方法が示される。方法６００は、コンピュータ実行可能命令の一般的コンテキストで記載され得る。一般的に、コンピュータ実行可能命令は、特定の機能を実行する、若しくは特定の抽象データタイプを実装する、ルーティン、プログラム、オブジェクト、コンポーネント、データストラクチャ、プロシージャ、モジュール、関数などを含み得る。方法６００は、通信ネットワークを介してリンクされるリモート処理デバイスにより機能が実行される分散計算環境でも実施され得る。分散計算環境では、コンピュータ実行命令は、メモリストレージデバイスを含む、ローカルコンピュータストレージ媒体とリモートコンピュータストレージ媒体との両方に、配置され得る。

【0052】

方法６００が記載される順序は、限定として解釈されることを意図するものでは無く、記載の方法のブロックの任意の数は、方法６００若しくは別途の方法を実装するために、任意の順序で組み合わされ得る。更に、個別のブロックは、本明細書に記載の開示の精神及び範囲から乖離すること無く方法６００から削除し得る。更に、方法は、任意の適切なハードウエア、ソフトウエア、ファームウエア、若しくはそれらの組み合わせで実装され得る。しかしながら、説明の簡易化のため、以下に記載する実施形態では、方法６００は、前述のシステム１０２内で実装されるものと考え得る。

【0053】

ブロック６０２では、左画像と右画像が受信され得る。左画像と右画像は、乗物の経路内に現れるオブジェクトを含み得る。更に、左画像と右画像は、乗物と結合するステレオカメラにより捕獲され得る。更に、左画像と右画像は、第１のセットのピクセルと第２のセットのピクセルを夫々含み得る。第１のセットのピクセルと第２のセットのピクセルは、第１のマトリクスと第２のマトリクスの夫々に、分離して配置され得、ここで第１のマトリクスと第２のマトリクスは列と行を含む。

【0054】

ブロック６０４では、セミグローバルマッチング技術が、ブロック６０４Ａ及び６０４Ｂに記載されるものとして適用され得る。

【0055】

ブロック６０４Ａでは、第１のセットのピクセルのサブセットが、第２のセットのピクセルのサブセットとマッチされる。更に、第１のセットのピクセルのサブセットは、第１のマトリクス内の所定の行と所定の列に対応し得る。

【0056】

ブロック６０４Ｂでは、視差マップがマッチングに基づいて生成され得る。更に、視差マップは、第１のセットのピクセルのサブセットと第２のセットのピクセルのサブセットとのマッチングに基づく、視差値を含み得る。

【0057】

ブロック６０６では、三角測量技術を用いて、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物の間の距離が計算され得る。

【0058】

乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための、方法の実装とデバイスを、構造の特性及び／又は方法に特有の用語で記載したが、当然ながら添付の請求項は、記載した特有の特性若しくは方法に必ずしも限定されない。むしろ、特有の特性及び方法は、乗物と乗物の経路に現れるオブジェクトとの間の距離を計測するための実装の例として、開示される。

【符号の説明】

【0059】

１０２ システム
１０４ ステレオカメラ
１０６ ネットワーク
１０８ 乗物
２０２ プロセッサ
２０４ インタフェース
２０６ メモリ
２０８ モジュール
２１０ 受信モジュール
２１２ ソベルフィルタ
２１４ 補間モジュール
２１６ セミグローバルマッチングモジュール
２１８ 距離計算モジュール
２２０ 他のモジュール
２２２ データ
２２４ データストア
２２６ 他のデータ

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】