(58)【調査した分野】(Int.Cl.,DB名)
前記複数のオブジェクトと前記車両(106)との間の前記距離の前記所定の複数の範囲は、5〜20メートルの範囲、21〜50メートルの範囲、および50メートルを超える範囲を含む請求項1に記載の方法。
前記ブロックマッチング技術は、前記左サブピクセル画像内の前記参照重心と、対応する前記右サブピクセル画像の前記ターゲット重心との間の最も近いマッチングを判別するため、前記左サブピクセル画像および前記右サブピクセル画像に適用され、
前記最も近いマッチングは、前記ブロックマッチング技術から得られた正規化相関係数(NCC)の極小値に基づいて判別される請求項1に記載の方法。
前記複数のモジュールは、前記差に基づく前記オブジェクトと前記車両との間の前記距離をディスプレイユニット上に表示するディスプレイモジュール(220)をさらに含む請求項7に記載のシステム(100)。
前記マッチングモジュール(217)は、前記左サブピクセル画像内の前記参照重心と、対応する前記右サブピクセル画像の前記ターゲット重心との間の最も近いマッチングを判別するため、前記左サブピクセル画像および前記右サブピクセル画像に対し、前記ブロックマッチング技術を適用し、
前記最も近いマッチングは、正規化相関係数(NCC)に基づいて判別される請求項7に記載のシステム(100)。
車両(106)の経路内に現れたオブジェクトと前記車両(106)との間の距離を算出するために演算装置において実行可能なプログラムを具体化する非一時的コンピューター可読媒体であって、
前記プログラムは、
ステレオ画像取得ユニット(108)を用いて、左画像および右画像を取得するためのプログラムコードと、
複数のオブジェクトと、前記複数のオブジェクトの複数の窓サイズと、前記複数のオブジェクトと前記車両(106)との間の距離の所定の複数の範囲とを含む所定の特徴記述子テーブルに基づいて、前記左画像および前記右画像内に存在するオブジェクトを検出するためのプログラムコードと、
前記左画像および前記右画像内の関心のある領域(RoIs)を判別するためのプログラムコードと、
前記左画像および前記右画像にそれぞれ対応する前記RoIsの左重心および右重心を算出するためのプログラムコードと、
前記所定の特徴記述子テーブルに基づいて、前記左重心および前記右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像を生成するためのプログラムコードと、
前記左サブピクセル画像内の参照重心に対応する前記右サブピクセル画像のターゲット重心を判別するために、ブロックマッチング技術を用いて、前記左サブピクセル画像および前記右サブピクセル画像を処理するためのプログラムコードと、
前記ターゲット重心と前記参照重心との差、前記ステレオ画像取得ユニット(108)の焦点距離、および前記ステレオ画像取得ユニット(108)のベースラインを用いた三角測量技術に基づいて、前記オブジェクトと前記車両(106)との間の距離を算出するためのプログラムコードと、を含むことを特徴とする非一時的コンピューター可読媒体。
【発明を実施するための形態】
【0015】
全ての特徴が説明された本発明のいくつかの実施形態が詳細に説明される。以下、「構成する」、「有する」、「含む」、「備える」およびそれらの他の形式は、同等な意味であり、これらの文言のいずれか1つに続く事項または複数の事項のオープンなリストであり、そのような事項に限定されるような排他的でクローズドなリストであるような意味ではなく、また、列挙された事項のみに限定されるという意味ではない。また、単数形“a”、“an”、“the”は、文脈が明確に示していなければ、複数形も含むことを留意されたし。ここで説明されるものと同等または対応する任意のシステムおよび方法は、本発明の実施形態の実施またはテストに使用することができ、典型例、システムおよび方法が以下に説明される。開示される実施形態は、様々な形態で実施可能な本発明の例示にすぎない。
【0016】
本分野における当業者にとって、実施形態に対する様々な変更が可能であること、および、ここに説明される包括的原理(generic principles)がその他の実施形態に適用可能であることは容易に理解できるであろう。しかしながら、本分野における当業者であれば、本発明は説明される実施形態に限定されるものではなく、ここに説明される原理および特徴と一致する最も広い範囲と合致するものであることは容易に認識できるであろう。
【0017】
車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステムおよび方法が開示される。車両は、車両が運行中の間に車両経路の前方の車道領域内に現れ得る複数のオブジェクトの複数の画像を取得するためのステレオ画像取得ユニットを含む。ステレオ画像取得ユニットは、車両内に設けられている。ステレオ画像取得ユニットは、2つのカメラ、すなわち、左カメラおよび右カメラを含むことは理解されるであろう。左カメラと右カメラの双方は、複数の画像を取得することができる。実施形態の1つにおいて、複数の画像の内、左カメラによって取得された画像は、左画像と称される。一方、右カメラによって取得された画像は、右画像と称される。複数のオブジェクトの各オブジェクトは、車両からの様々な距離に位置していてもよいことは理解されるであろう。距離を算出するため、開示のシステムおよび方法は、左画像および右画像内に存在するオブジェクトをさらに検出する。1つの様態において、オブジェクトは、歩行者、車両、木のいずれか1つであると検出される。
【0018】
オブジェクトを検出する際、左画像および右画像内において、関心のある領域(RoI)が判別される。RoIは、配向勾配のヒストグラム(HOG: Histogram of Oriented Gradient)技術または配向勾配の強化ヒストグラム(EHOG: Enhanced Histogram of Oriented Gradient)を用いて判別されることは理解されるであろう。RoIの判別に続いて、RoI内において、左画像と右画像の視差(disparity)が特定される。1つの様態において、視差は、ブロックマッチング技術を用いて左画像および右画像内のRoIを補間することによって特定される。視差の特定の後、オブジェクトと車両との間の距離を算出するために、5次の多項式曲線フィッティングアプローチを用いた三角測量法が用いられる。ドライバーに、オブジェクトが算出された距離の車両の近辺に位置することを警告するため、該距離がディスプレイユニット上に表示され、ドライバーに通知される。警告は、衝突を回避し、または、衝突や事故の結果の重大性を軽減することを容易にする。よって、このような方法により、システムおよび方法は、オブジェクトと車両との間の距離を算出することができ、それにより、ドライバー支援および安全確保を容易とすることができる。
【0019】
車両の経路内に現れたオブジェクトと車両との間の距離を算出するための前述のシステムおよび方法のいくつか様態が任意の数の異なる演算システム、環境および/または構成によって実施可能であるが、これら実施形態は以下の例示的なシステムのコンテキスト(context:文脈)の中で説明される。
【0020】
図1を参照すると、本発明の実施形態に係る車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステム102のネットワーク実施100が示されている。1つの様態において、システム102は、ステレオ画像取得ユニット108を用いて、左画像および右画像を取得する。左画像および右画像を取得した後、システム102は、所定の特徴記述子テーブルに基づいて、左画像および右画像内に存在するオブジェクトを検出する。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。オブジェクトの検出に続いて、システム102は、左画像および右画像内の関心のある領域(RoIs)を判別する。RoIsの判別の後、システム102は、左画像および右画像にそれぞれ対応するRoIsの左重心および右重心を算出する。左重心および右重心の算出の後、システム102は、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像を生成する。続いて、システム102は、左サブピクセル画像内の参照重心に対応する右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、左サブピクセル画像および右サブピクセル画像を処理する。ターゲット重心が判別されると、システム102は、ターゲット重心と参照重心との差、ステレオ画像取得ユニット108の焦点距離、およびステレオ画像取得ユニット108のベースラインを用いた三角測量技術に基づいて、オブジェクトと車両との間の距離を算出する。
【0021】
システム102が車両106内に実施されているものとして本発明を説明したが、システムは、様々な演算システム(例えば、ラップトップコンピューター、デスクトップコンピューター、ノートパソコン、ワークステーション、メインフレームコンピューター、サーバー、ネットワークサーバー、タブレット、携帯電話等)として実施されていてもよいことは理解されるであろう。さらに、サーバー104は、システム102の活動を追跡(トラッキング)してもよく、システム102は、ネットワーク104を介して、サーバーと通信可能に接続されている。
【0022】
実施形態の1つにおいて、ネットワーク104は、無線ネットワーク、有線ネットワークまたはこれらの組み合わせであってもよい。ネットワーク104は、異なる種類のネットワーク(例えば、イントラネット、ローカエルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット等)のいずれか1つとして実施することができる。ネットワーク104は、専用ネットワークであってもよいし、共有ネットワークであってもよい。共有ネットワークは、異なる種類のネットワークの接続を意味し、様々なプロトコル(例えば、ハイパーテキストトランスファープロトコル(HTTP)、トランスミッションコントロールプロトコル/インターネットプロトコル(TCP/IP)、ワイヤレスアプリケーションプロトコル(WAP)等)を用いて、互いに通信する。さらに、ネットワーク104は、様々なネットワークデバイス(例えば、ルーター、ブリッジ、サーバー、演算装置、ストレージ装置等)を含んでいてもよい。
【0023】
図2を参照すると、本発明の実施形態に係るシステム102が示されている。実施形態の1つにおいて、システム102は、少なくとも1つのプロセッサー202と、入力/出力(I/O)インターフェース204と、メモリ206とを含む。少なくとも1つのプロセッサー202は、1つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー、中央演算装置(CPU)、状態マシーン、論理回路および/または操作可能(operational)な命令に基づいて信号を操作する任意の装置として実施することができる。その他の機能の中でも、少なくとも1つのプロセッサー202は、メモリ206内に保存されているコンピューター可読命令をフェッチ(fetch:命令コードを読み出すこと)し、実行するよう構成されている。
【0024】
I/Oインターフェース204は、様々なソフトウェアインターフェースおよびハードウェアインターフェース(例えば、ウェブインターフェース、グラフィックユーザーインターフェース等)を含む。I/Oインターフェース204は、システム102がユーザーと直接またはクライアント装置104を介して相互通信することを可能とする。さらに、I/Oインターフェース204は、システム102がその他の演算装置(例えば、ウェブサーバーおよび外部データサーバー)(図示せず)と通信を行うことを可能とする。I/Oインターフェース204は、有線ネットワーク(例えば、LAN、ケーブル等)および無線ネットワーク(例えば、WLAN、セルラー、衛星等)を含む広範な種類のネットワークおよびプロトコル内での多数の通信を容易にする。I/Oインターフェース204は、多数の装置を互いにまたは他のサーバーに接続するための1つ以上のポートを含む。
【0025】
メモリ206は、本分野において既知の任意のコンピューター可読媒体およびコンピュータープログラム製品(例えば、静的ランダムアクセスメモリ(SRAM)や動的ランダムアクセスメモリ(DRAM)等の揮発性メモリおよび/またはリードオンリーメモリ(ROM)、消去可能プログラム可能ROM(EPROM)、フラッシュメモリ、ハードディスク、光学ディスク、および磁気テープ等の不揮発性メモリ)を含む。メモリ206は、モジュール208と、データ210とを含む。
【0026】
モジュール208は、特定のタスクを実行または特定の抽象データ型(abstract data type)を実装するルーチン(routine)、プログラム、オブジェクト、コンポーネント、データ構造等を含む。実施形態の1つにおいて、モジュール208は、画像取得モジュール212、関心のある領域(RoI)判別モジュール214、補間モジュール216、マッチングモジュール217、距離算出モジュール218、ディスプレイモジュール220、およびその他モジュール222とを含む。その他モジュール222は、システム102のアプリケーションおよび機能を補完するプログラムまたはコード化命令を含んでいる。ここで説明されるモジュール208は、システム102のクラウドベース演算環境(cloud-based computing environment)において実行されるソフトウェアモジュールとして実施されていてもよい。
【0027】
とりわけ、データ210は、1つ以上のモジュール208によって処理され、受信され、生成されたデータを保存するためのレポジトリ(repository:データやプログラム等の一元的な保存場所)として機能する。また、データ210は、システムデータベース224と、その他データ226とを含む。その他データ226は、その他モジュール222内の1つ以上のモジュールの実行による結果として生成されたデータを含む。
【0028】
複数のオブジェクトが運行中の車両の経路内に現れ得ることが確認されている。また、車両の現在位置からの様々な距離に、複数のオブジェクトが位置し得ることは理解されるであろう。オブジェクトのいくつかは、車両106が走っている道路の両側に位置している一方、その他のいくつかのオブジェクトは、車両106の前方の道路内に位置している。さらに、車両106のドライバーは、運転中に注意散漫となり、事故の原因となる集中力の欠如を引き起こすことがあることが確認されている。このような注意散漫は、道路脇に位置する看板や広告掲示板の存在によって引き起こされ得る。そのような注意散漫による事故の発生を回避するため、システム102は、リアルタイム警告によってドライバーに警告を行うことを容易にする。警告は、車両106の経路内にオブジェクトが現れていることを示す。システム102は、オブジェクトから所定の距離において、警告を生成する。警告を生成するため、経路内に現れたオブジェクトと車両106との間の距離を算出する必要がある。該距離を算出するための詳細な実施形態が以下に説明される。
【0029】
実施形態の1つにおいて、最初に、ユーザーは、警告を生成するために、クライアント装置を用いて、I/Oインターフェース204を介してシステム102にアクセスする。ユーザーは、システム102を使用するため、I/Oインターフェース204を用いて、自身を登録する。1つの様態において、ユーザーは、車両106の経路内に現れたオブジェクトと車両106との間の距離を算出するため、システム102のI/Oインターフェース204にアクセスする。距離を算出するため、システム102は、画像取得モジュール212と、RoI判別モジュール214と、補間モジュール216と、マッチングモジュール217と、距離算出モジュール218と、ディスプレイモジュール220とを含む。これら複数のモジュールの詳細な動作は、以下に説明される。
【0030】
最初に、画像取得ユニット212は、車両106に設けられたステレオ画像取得ユニット108を用いて、左画像および右画像を取得する。ステレオ画像取得ユニット108は、左カメラおよび右カメラを含むことは理解されるであろう。左カメラは、以下、左画像と称される画像を取得可能であり、右カメラは、以下、右画像と称される画像を取得可能である。1つの様態において、左画像および右画像は、車両106が走っている経路上に存在する複数のオブジェクトを含む。複数のオブジェクトの例としては、これに限られるものではないが、歩行者、車両、木が挙げられる。左画像および右画像内に存在する複数のオブジェクトは、車両106からの異なる範囲または様々な距離に位置していてもよい。ステレオ画像取得ユニット108によって取得された複数のオブジェクトは、ここに参照によって組み込まれるインド国特許出願第794/MUM/2014号に開示の方法に基づいて検出されることは理解されるであろう。
【0031】
複数の画像の取得の際、RoI判別モジュール214は、複数の画像のうち、左画像および右画像内に存在するオブジェクトを検出する。オブジェクトは、所定の特徴記述子テーブルに基づいて検出される。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。所定の特徴記述子テーブルは、複数のオブジェクトおよび複数のオブジェクトの複数の窓サイズに基づく所定の複数の範囲を保存していることは理解されるであろう。例えば、オブジェクトが、128×64の窓サイズを有する「車両」であると検出されると、車両は20メートル未満の範囲(範囲1)に位置することになる。同様に、64×64の窓サイズは、20〜50メートルの範囲(範囲2)におおよそ対応し、さらに、32×32の窓サイズは、50メートルを超える範囲(範囲3)におおよそ対応する。1つの様態において、RoI判別モジュール214は、オブジェクトの窓サイズに基づいて、オブジェクトが歩行者または車両のいずれであるのかを検出する。同様に、オブジェクトが64×128の窓サイズを有する「歩行者」であると検出されると、歩行者は15メートル未満の範囲(範囲1)に位置することとなる。同様に、32×64の窓サイズは、15〜30メートルの範囲(範囲2)におおよそ対応し、さらに、32×32の窓サイズは、30メートルを超える範囲(範囲3)におおよそ対応する。1つの様態において、RoI判別モジュール214は、オブジェクトの窓サイズに基づいて、オブジェクトが歩行者または車両のいずれかであるかを検出する。
【0032】
オブジェクトを検出した後、さらに、RoI判別モジュール214は、オブジェクトに識別番号を割り当てる。識別番号は、検出されたオブジェクトに基づいて割り当てられる。例えば、オブジェクトが「車両」であると検出されると、識別番号「1」がオブジェクトに割り当てられる。一方、オブジェクトが「歩行者」であると検出されると、識別番号「2」がオブジェクトに割り当てられる。識別番号が割り当てられると、RoI判別モジュール214は、さらに、検出したオブジェクトに対応する識別番号を、その後の参照のため、システムデータベース224内に保存する。続いて、RoI判別モジュール214は、左画像および右画像内の関心のある領域(RoIs)を検出する。1つの様態において、RoIは配向勾配のヒストグラム(HOG)技術または配向勾配の強化ヒストグラム(EHOG)技術を用いて判別される。
【0033】
実施形態の1つにおいて、RoIを判別するために、画像(左画像および右画像)が様々な段階において処理される。RoIは、画像を複数の画像スライス(片)に分割することによって特定される。複数の画像スライスは、オブジェクトのサイズおよびターゲットの検出距離に基づいて、分割される。画像は、画像からノイズを低減し、画像の個々の要素を分離し、画像の非接続部分を接合し、画像のエッジを鮮明化し、平滑化フィルターを用いて画像を平滑化するために分割されることは理解されるであろう。画像を複数の画像スライスに分割した後、RoI判別モジュール214は、さらに、複数の画像スライスの各画像スライスに対応する勾配(gradients)を算出する。様々な距離におけるオブジェクトのスケール(大きさ)に基づいて、HOGの算出のために複数の窓サイズが選択され、さらに、特徴記述子が窓サイズを用いてトレーニングされる。1つの様態において、特徴記述子は、画像内のRoIを判別するため、各画像スライスに対応して適用される。
【0034】
RoIの判別に続いて、補間モジュール216は、左画像および右画像にそれぞれ対応するRoIsの左重心および右重心を算出する。左重心および右重心は、左画像および右画像のRoIにそれぞれ対応するピクセルを示すことは理解されるであろう。左重心および右重心を算出した後、補間モジュール216は、左サブピクセル画像および右サブピクセル画像を生成する。左サブピクセル画像および右ピクセル画像は、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって生成される。1つの様態において、左サブピクセル画像および右サブピクセル画像は、複数のオブジェクトと車両との間の距離の所定の複数の範囲および検出されたオブジェクトを用いて、生成される。
【0035】
左サブピクセル画像および右ピクセル画像を生成する補間モジュール216の機能を理解するために、左画像L
1がオブジェクトO
1を含み、右画像R
1がオブジェクトO
2を含む1つの例が、VGA解像度カメラV
1で取得された場合を考える。前述の説明に従い、L
1およびR
1内のオブジェクトO
1およびオブジェクトO
2が、前述のRoI判別モジュール214によって、「範囲1」内の「車両」であると検出されると(ここで「範囲1」とは、検出したオブジェクトに対応する窓サイズを示す、すなわち、車両が128×64ピクセルであることを示す。)、その後、検出された左重心および右重心を補間することによって、左サブピクセル画像および右サブピクセル画像が生成される。ここで、左重心および右重心は、所定の特徴記述子テーブルから判別された0.5サブピクセル解像度を用いて補間される。左画像L
1および右画像R
1はVGA解像度カメラV
1によって取得されるため、左重心および右重心は、0.5サブピクセル解像度を用いて補間されるが、サブピクセル解像度は、左画像および右画像を取得するために用いたステレオ画像取得ユニットの解像度の種類に依存して変更し得ることは理解されるであろう。同様に、L
1およびR
1内のオブジェクトO
1およびオブジェクトO
2が、「範囲2」内の「車両」であると検出されると(ここで、「範囲2」は検出したオブジェクトに対応する窓サイズ、すなわち、車両が64×64ピクセルであることを示す。)、その後、所定の特徴記述子テーブルから決定された0.25サブピクセル解像度を用いて、左重心および右重心を補間することによって、左サブピクセル画像および右ピクセル画像が生成される。同様に、L
1およびR
1内のオブジェクトO
1およびオブジェクトO
2が、「範囲3」内の「車両」であると検出されると(ここで、「範囲3」は検出したオブジェクトに対応する窓サイズ、すなわち、車両が32×32ピクセルであることを示す。)、その後、所定の特徴記述子テーブルから決定された0.1サブピクセル解像度を用いて、左重心および右重心を補間することによって、左サブピクセル画像および右ピクセル画像が生成される。よって、このような方法によって、検出されたオブジェクトの種類(すなわち、車両であるか歩行者であるか)の判別およびオブジェクトに対応する窓サイズに基づいて、左重心および右重心をそれぞれ補間することにより、左サブピクセル画像および右ピクセル画像が動的に生成される。このサブピクセル画像(すなわち、左サブピクセル画像および右サブピクセル画像)の動的な生成は、オブジェクトが長距離に存在する場合であっても、距離を正確に算出するために有用である。上述の事項に加え、サブピクセル画像の動的生成は、演算の複雑性(computational complexity)を低減することをも容易にする。何故ならば、システム102は、車両からオブジェクトまでの距離の判別に基づいて、左重心および右重心の補間を行うためである。例えば、オブジェクトが車両から20メートル未満の範囲内にある場合、システム102は0.5サブピクセル解像度のみによって左重心および右重心を補間することにより、正確に距離を算出することができる。
【0036】
左サブピクセル画像および右サブピクセル画像が生成されると、マッチングモジュール217は、左サブピクセル画像および右サブピクセル画像をさらに処理する。1つの様態において、左サブピクセル画像および右サブピクセル画像は、左サブピクセル画像の参照重心に対応する右サブピクセル画像のターゲット重心R
(x,y)を判別するため、ブロックマッチング技術を用いて処理される。1つの様態において、ターゲット重心R
(x,y)は、以下の式(1)で算出される。
【0038】
ここで、T´(x´,y´)は、以下の式(2)で決定される。
【0040】
ここで、I´(x+x´,y+y´)は、以下の式(3)で決定される。
【0041】
ここで、“I”はテンプレート画像を用いたマッチングが期待されるソース画像(source image)を示し、“T”はソース画像内の領域と比較されるパッチ画像(patch image)を示し、“W”はテンプレート画像の幅を示し、“H”はテンプレート画像の高さを示す。
【0042】
左サブピクセル画像と右サブピクセル画像との間の視差を判別するために、ブロックマッチング技術がターゲット重心R
(x,y)および参照重心に適用されることは理解されるであろう。視差を判別するため、ブロックマッチング技術は、左サブピクセル画像および右サブピクセル画像を複数のブロックに分割する。左サブピクセル画像を分割する際、参照重心を含むブロックB
RCが判別される。左サブピクセル画像内のB
RCが判別されると、B
RCは、右サブピクセル画像に関連付けられた複数のブロックの各ブロック(B
L1,B
L2,B
L3.....B
LN)とマッチングされる。B
RCとB
L1,B
L2,B
L3.....BL
LNとのマッチングの後、ブロックマッチング技術は、B
RCとB
L1,B
L2,B
L3.....BL
LNのいずれか1つとの間の最も近いマッチングを判別することを容易にする。最も近いマッチングは、ブロックマッチング技術から得られた正規化相関係数(NCC: Normalized Correlation Coefficient)の極小値に基づいて判別される。B
RCに最も近いブロックが(B
L1,B
L2,B
L3.....B
LNの内から)判別されると、ターゲット重心R
(x,y)が判別され、それにより左サブピクセル画像と右サブピクセル画像との間の視差が判別される。
【0043】
視差の判別後、距離算出モジュール218は、三角測量法を用いて、(左画像および右画像内に存在する)オブジェクトと車両106との間の距離を算出する。1つの様態において、距離は、以下の式(4)を用いて算出される。
【0045】
ここで“B”はステレオ画像取得ユニット108のベースラインであり、“f”はステレオ画像取得ユニット108の焦点距離であり、“(xl−xr)”はターゲット重心と参照重心との差である視差である。実施形態の1つにおいて、上記の距離は、理論上の距離であって、実際の距離は、関数y=f(x)を用いて算出される。ここで、“y”は実際の距離であり、“x”は視差である。この関数は、理論上の距離と実際の距離との間の所定の関係を用いて得られる5次の多項式曲線を示すものであって、理論上の距離および実際の距離は、オフラインで得られる。1つの様態において、三角測量法は、オブジェクトと車両106との間の距離を算出するため、5次の多項式曲線フィッティングアプローチを実行する。
【0046】
距離を算出した後、ディスプレイモジュール220は、衝突を回避し、または、衝突や事故の結果の重大性を低減するため、ディスプレイユニットに距離を表示させることにより、距離をドライバーに通知し、それにより、オブジェクトが算出された距離で車両の近辺に位置することをドライバーに警告する。よって、このような方法によって、システム102は車両106から異なる様々な距離に位置する複数のオブジェクトと車両106との間の距離を算出することができる。
【0047】
図3を参照すると、本発明の実施形態に係る車両の経路内に現れたオブジェクトと車両との間の距離を算出するための方法300が示されている。方法300は、コンピューター実行可能命令の一般的なコンテキストにおいて説明される。一般的に、コンピューター実行可能命令は、特定の機能を実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャー、モジュール、ファンクション等を含む。また、方法300は、通信ネットワークを介してリンクされる遠隔処理装置によって機能が実行される分散型演算環境(distributed computing environment)において実行されてもよい。分散型演算環境において、コンピューター実行可能命令は、ローカルおよび遠隔双方の演算ストレージ媒体(例えば、メモリストレージ装置)内に位置していてもよい。
【0048】
ここに説明される方法300の順番は、限定を構成するものではなく、説明される方法の任意の数のブロックが方法300および代替的な方法を実施するために用いられてもよい。さらに、ここに説明される本発明の原理および範囲から逸脱しない範囲において、各ブロックを方法300から削除することができる。さらに加えて、該方法は、任意の適したハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって実施されてもよい。しかしながら、説明の簡易化のため、以下に説明する本実施形態では、方法300は、上述のシステム102において実行されるものとする。
【0049】
ブロック302において、ステレオ画像取得ユニット108を用いて、左画像および右画像が取得される。実施形態の1つにおいて、左画像および右画像は、画像取得モジュール212によって取得される。
【0050】
ブロック304において、所定の特徴記述子テーブルに基づいて、左画像および右画像内に存在するオブジェクトが検出される。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。実施形態の1つにおいて、左画像および右画像は、RoI判別モジュール214によって検出される。
【0051】
ブロック306において、左画像および右画像内において、関心のある領域(RoIs)が判別される。実施形態の1つにおいて、RoIsは、RoI判別モジュール214によって判別される。
【0052】
ブロック308において、左画像および右画像にそれぞれ対応するRoIsの左重心および右重心が算出される。実施形態の1つにおいて、RoIsの左重心および右重心は、補間モジュール216によって算出される。
【0053】
ブロック310において、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像が生成される。実施形態の1つにおいて、左サブピクセル画像および右サブピクセル画像は、補間モジュール216によって生成される。
【0054】
ブロック312において、左サブピクセル画像内の参照重心に対応する右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、左サブピクセル画像および右サブピクセル画像が処理される。実施形態の1つにおいて、左サブピクセル画像および右ピクセル画像は、マッチングモジュール217によって処理される。
【0055】
ブロック314において、ターゲット重心と参照重心との差、ステレオ画像取得ユニット108の焦点距離、およびステレオ画像取得ユニット108のベースラインを用いた三角測量技術に基づいて、オブジェクトと車両との間の距離が算出される。実施形態の1つにおいて、オブジェクトと車両との間の距離は、距離算出モジュール218によって算出される。
【0056】
車両の経路内に現れたオブジェクトと車両との間の距離を算出するための方法およびシステムの実施が、構造的特徴および/または方法を特定する記述において説明されたが、添付の特許請求の範囲は説明された特定の特徴または方法に必ずしも限定されないことは理解されるであろう。また、特定の特徴および方法が、車両の経路内に現れたオブジェクトと車両との間の距離を算出するための実施形態の例として開示された。
【0057】
上述の例示的な実施形態は、特定の利点を提供することができる。本発明の実際の様態に要求されるものではないが、これら利点は以下の特徴によって提供されるものを含む。
【0058】
いくつかの実施形態は、システムおよび方法が、車両からの異なる範囲または様々な距離に位置するオブジェクトを検出し、ステレオカメラを用いてリアルタイムで距離を算出し、それにより、自動車のドライバー支援および安全性確保を容易とすることを可能とする。
【0059】
いくつかの実施形態は、従来の勾配のヒストグラムアルゴリズム(conventional Histogram of Gradients algorithm)を強化(enhance)することにより、システムおよび方法が、複数の大きさ(スケール)および配向によってオブジェクトを検出することを可能とする。
【0060】
いくつかの実施形態は、システムおよび方法が、40度の視野(FOV: Field of View)を有するVGA解像度センサーを用いて、車両から約80メートルの距離の範囲までのオブジェクトを正確に検出することを可能とする。
【0061】
より遠い距離のマッチング効率を向上させるため、検出されたオブジェクトが車両であるならば、最大0.1ピクセルの精度で補間が実行され、検出されたオブジェクトが歩行者であるならば、最大0.01ピクセルの精度で補間が実行される。