特許 6763448 視覚強化ナビゲーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6763448

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】視覚強化ナビゲーション

(51)【国際特許分類】

   G01C 21/34 20060101AFI20200917BHJP

   G01C 21/26 20060101ALI20200917BHJP

   G08G 1/0969 20060101ALI20200917BHJP

   G06T 7/00 20170101ALI20200917BHJP

   G06T 7/579 20170101ALI20200917BHJP

【ＦＩ】

   G01C21/34

   G01C21/26 C

   G08G1/0969

   G06T7/00 650B

   G06T7/579

【請求項の数】17

【外国語出願】

【全頁数】24

(21)【出願番号】特願2019-26075(P2019-26075)

(22)【出願日】2019年2月15日

(62)【分割の表示】特願2016-519670(P2016-519670)の分割

【原出願日】2014年6月13日

(65)【公開番号】特開2019-109245(P2019-109245A)

(43)【公開日】2019年7月4日

【審査請求日】2019年2月25日

(31)【優先権主張番号】61/834,488

(32)【優先日】2013年6月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515168961

【氏名又は名称】モービルアイ ビジョン テクノロジーズ リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】シュタイン，ギデオン

【審査官】 田中 将一

(56)【参考文献】

【文献】 特表２０１６−５２２４１５（ＪＰ，Ａ）

【文献】 特表２０１８−５０４６５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０１Ｃ ２３／００ − ２５／００

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの処理装置であって、
ナビゲーションシステムに関連する少なくとも１つのコンポーネントの現在位置を決定すること、
前記現在位置と異なる目的地を決定すること、
前記ナビゲーションシステムのユーザが、環境内に位置し、かつ前記現在位置から前記目的地へナビゲートしている間に、１つ又は複数の画像取得装置から、前記環境を表す複数の画像を取得すること、
前記ユーザが前記現在位置から前記目的地へナビゲートしている間に、前記複数の画像を分析し、前記画像取得装置の少なくとも１つの視野内に現れる少なくとも１つの目標車両を識別すること、
前記複数の画像に基づいて、前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの距離を決定すること、且つ
前記複数の画像に基づいて、前記現在位置から前記目的地へナビゲートするための１つ又は複数の指示を決定し、前記１つ又は複数の指示が、前記少なくとも１つの目標車両への少なくとも１つの言及を含み、前記少なくとも１つの目標車両への前記言及が、前記１つ又は複数の画像取得装置の前記少なくとも１つから前記少なくとも１つの目標車両への前記距離に少なくとも基づくこと、
を行うように構成された少なくとも１つの処理装置を含むナビゲーションシステム。

【請求項2】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、移動からの構造復元を用いることを含み、前記複数の画像が、前記複数の画像のうちの別の画像とは異なる時間に捕捉された少なくとも１つの画像を含む、請求項１に記載のナビゲーションシステム。

【請求項3】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、速度計又は１つ又は複数の位置センサの少なくとも１つから得られた情報を使用することを更に含む、請求項２に記載のナビゲーションシステム。

【請求項4】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、
前記複数の画像における第１の画像の第１の領域を前記複数の画像における第２の画像の第２の領域と相関させることと、
前記相関を使用して、前記第１の画像と前記第２の画像との間の視差マップを計算することと、
前記視差マップを使用して前記距離を決定することと、を含む、
請求項１に記載のナビゲーションシステム。

【請求項5】

前記視差マップを使用して前記距離を決定することが、期待値のある範囲内に入る視差を有する前記視差マップの一部を選択することを更に含み、前記期待値が目標距離と相関する、請求項４に記載のナビゲーションシステム。

【請求項6】

前記１つ又は複数の指示が、聞き取れるように前記ユーザに送られる、請求項１に記載のナビゲーションシステム。

【請求項7】

車両の位置を表す出力を提供するように構成された１つ又は複数の位置センサと、
前記車両の外部の環境の複数の画像を取得するように構成された１つ又は複数の画像取得装置と、
少なくとも１つの処理装置であって、
前記１つ又は複数の位置センサの出力に基づいて、前記車両に関連する少なくとも１つのコンポーネントの現在位置を決定すること、
前記現在位置と異なる目的地を決定すること、
前記車両のユーザが、環境内に位置し、かつ前記現在位置から前記目的地へナビゲートしている間に、前記１つ又は複数の画像取得装置から、前記環境を表す複数の画像を取得すること、
前記ユーザが前記現在位置から前記目的地へナビゲートしている間に、前記複数の画像を分析し、前記画像取得装置の少なくとも１つの視野内に現れる少なくとも１つの目標車両を識別すること、
前記複数の画像に基づいて、前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの距離を決定すること、且つ
前記複数の画像に基づいて、前記現在位置から前記目的地へナビゲートするための１つ又は複数の指示を決定し、前記１つ又は複数の指示が、前記少なくとも１つの目標車両への少なくとも１つの言及を含み、前記少なくとも１つの目標車両への前記言及が、前記１つ又は複数の画像取得装置の前記少なくとも１つから前記少なくとも１つの目標車両への前記距離に少なくとも基づくこと、を行うように構成された少なくとも１つの処理装置と、
を含む車両。

【請求項8】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、移動からの構造復元を用いることを含み、前記複数の画像が、前記複数の画像のうちの別の画像とは異なる時間に捕捉された少なくとも１つの画像を含む、請求項７に記載の車両。

【請求項9】

速度計を更に含み、
前記１つ又は複数の位置センサがＧＰＳユニットを含み、
前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、前記速度計又は前記ＧＰＳユニットから得られた情報を使用することを更に含む、請求項８に記載の車両。

【請求項10】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、
前記複数の画像における第１の画像の第１の領域を前記複数の画像における第２の画像の第２の領域と相関させることと、
前記相関を使用して、前記第１の画像と前記第２の画像との間の視差マップを計算することと、
前記視差マップを使用して前記距離を決定することと、を含む、
請求項７に記載の車両。

【請求項11】

前記視差マップを使用して前記距離を決定することが、期待値のある範囲内に入る視差を有する前記視差マップの一部を選択することを更に含み、前記期待値が目標距離と相関する、請求項１０に記載の車両。

【請求項12】

少なくとも１つのスピーカを更に含み、
前記１つ又は複数の指示が、前記少なくとも１つのスピーカを使用して、聞き取れるように前記ユーザに送られる、請求項７に記載の車両。

【請求項13】

ナビゲーションシステムに関連する１つ又は複数の位置センサの出力に基づいて、前記ナビゲーションシステムに関連する少なくとも１つのコンポーネントの現在位置を決定することと、
前記現在位置と異なる目的地を決定することと、
前記ナビゲーションシステムのユーザが、環境内に位置し、かつ前記現在位置から前記目的地へナビゲートしている間に、１つ又は複数の画像取得装置から、前記環境を表す複数の画像を取得することと、
前記ユーザが前記現在位置から前記目的地へナビゲートしている間に、前記複数の画像を分析し、前記画像取得装置の少なくとも１つの視野内に現れる少なくとも１つの目標車両を識別することと、
前記複数の画像に基づいて、前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの距離を決定することと、
前記複数の画像に基づいて、前記現在位置から前記目的地へナビゲートするための１つ又は複数の指示を決定し、前記１つ又は複数の指示が、前記少なくとも１つの目標車両への少なくとも１つの言及を含み、前記少なくとも１つの目標車両への前記言及が、前記１つ又は複数の画像取得装置の前記少なくとも１つから前記少なくとも１つの目標車両への前記距離に少なくとも基づくことと、
を含む、車両をナビゲートする方法。

【請求項14】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、移動からの構造復元を用いることを含み、前記複数の画像が、別の画像とは異なる時間に捕捉された少なくとも１つの画像を含む、請求項１３に記載の方法。

【請求項15】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、速度計又は前記１つ又は複数の位置センサの少なくとも１つから得られた情報を使用することを更に含む、請求項１４に記載の方法。

【請求項16】

前記１つ又は複数の画像取得装置の少なくとも１つから前記少なくとも１つの目標車両までの前記距離を決定することが、
前記複数の画像における第１の画像の第１の領域を前記複数の画像における第２の画像の第２の領域と相関させることと、
前記相関を使用して、前記第１の画像と前記第２の画像との間の視差マップを計算することと、
前記視差マップを使用して前記距離を決定することと、を含む、
請求項１３に記載の方法。

【請求項17】

コンピュータに、請求項１３から１６のいずれか一項に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年６月１３日出願の米国仮出願第６１／８３４，４８８号の優先権を米国特許法第１１９条の下で主張し、その米国仮出願は、その全体において参照により本明細書に援用される。

【0002】

技術分野
本開示は、一般に、ナビゲーションシステムに関し、特に、１つ又は複数の画像取得装置から取得された画像情報に基づいて決定された視覚情報を用いて、ナビゲーション指示を強化するための装置及び技術に関する。

【背景技術】

【0003】

背景
車両用途で用いられるものを含むＧＰＳベースのナビゲーションシステムは、有用であり一般的である。これらのタイプのナビゲーションシステムに対するユーザインターフェースは、引き続き改善され、今や、ソーシャルネットワークからの情報及び交通管制システムからのリアルタイム情報を受信することができる。しかしながら、他の改善が、これらのシステムの機能を更に向上させ、且つそれらをよりユーザフレンドリにさえすることが可能である。例えば、現在のシステムにおいて、可聴ナビゲーション指示が、地図データから導き出された情報に基づいて提供されるが、しかしこれら指示は、ナビゲーションシステムのユーザが実際に見ることができるものを考慮しない。従って、これらの種類のシステムは、限られた情報だけをユーザに提供することができる。

【0004】

撮像システムによって取得された視覚情報などの他の種類の情報を含むことは、ナビゲーションシステムをよりユーザフレンドリにすることが可能である。更に、ナビゲーションシステムによって提供される指示に視覚情報を追加することは、これらのシステムが、ユーザにとってより自然な方法で機能できるようにし得る。例えば、撮像システムから導き出された視覚情報は、車両運転手へと車両乗客に方向を提供させるのに似た方法でユーザに送られるコンテキスト認識情報に翻訳されても良い。例えば、「１００ｍで左に曲がる」又は「次の交差点で左に曲がる」などの単純な指示の代わりに、乗客は、「赤い自動車が曲がったところで左に曲がる」又は「あの黄色の日除けを越えて左に曲がる」と言っても良い。

【発明の概要】

【0005】

概要
車両、ユーザ等に関連する環境に関係する画像データから導き出された視覚情報に関連する視覚キューを含むために、標準ナビゲーション指示を強化するか、補足するか、置き換えるか又はそうでなければ修正するためのシステム及び方法を含む実施形態が本明細書で開示される。

【0006】

開示される実施形態と一致して、ナビゲーションシステムは、ナビゲーションシステムに関連する１つ又は複数の位置センサの出力に基づいて、ナビゲーションシステムに関連する少なくとも１つのコンポーネントの現在位置を決定すること、且つ現在位置と異なる目的地を決定することを行うように構成された少なくとも１つの処理装置を含んでも良い。ナビゲーションシステムはまた、１つ又は複数の画像取得装置から、ナビゲーションシステムのユーザの環境を表す複数の画像を取得し、且つ複数の画像から、環境における少なくとも１つの対象物に関連する視覚情報を導き出しても良い。システムはまた、現在位置から目的地へナビゲートするための１つ又は複数の指示を決定しても良く、１つ又は複数の指示は、複数の画像から導き出された視覚情報への少なくとも１つの言及を含む。システムはまた、１つ又は複数の指示をユーザに送ることができる。

【0007】

開示される実施形態と一致して、車両は、車両の位置を表す出力を提供するように構成されたＧＰＳセンサを含んでも良い。車両はまた、車両外部の環境の複数の画像を取得するように構成された１つ又は複数の画像取得装置を含んでも良い。車両は、ナビゲーションシステムに関連する１つ又は複数の位置センサの出力に基づいて、ナビゲーションシステムに関連する少なくとも１つのコンポーネントの現在位置を決定すること、且つ現在位置と異なる目的地を決定することを行うように構成された少なくとも１つの処理装置を含んでも良いナビゲーションシステムを含んでも良い。ナビゲーションシステムはまた、１つ又は複数の画像取得装置から、ナビゲーションシステムのユーザの環境を表す複数の画像を取得し、且つ複数の画像から、環境における少なくとも１つの対象物に関連する視覚情報を導き出しても良い。システムはまた、現在位置から目的地へナビゲートするための１つ又は複数の指示を決定しても良く、１つ又は複数の指示は、複数の画像から導き出された視覚情報への少なくとも１つの言及を含む。システムはまた、１つ又は複数の指示をユーザに送ることができる。

【0008】

開示される実施形態に一致して、ナビゲーション情報を生成し送るための方法は、１つ又は複数の位置センサの出力に基づいて現在位置を決定するために、１つ又は複数の処理装置を用いることと、現在位置と異なる目的地を決定することと、１つ又は複数の画像取得装置から、個人を取り囲む環境を表す複数の画像を取得することと、環境における少なくとも１つの対象物に関連する視覚情報を複数の画像から導き出すために、１つ又は複数の処理装置を用いることと、現在位置から目的地へナビゲートするための１つ又は複数の指示を決定することであって、１つ又は複数の指示が、複数の画像から導き出された視覚情報への少なくとも１つの言及を含むことと、１つ又は複数の指示を個人に送ることと、を含んでも良い。

【0009】

前述の概要及び以下の詳細な説明の両方が、単に例示的で、説明であり、請求項を限定するものでないことを理解されたい。

【0010】

添付の図面は、本開示に組み込まれ、その一部を構成し、様々な開示される実施形態を示す。

【図面の簡単な説明】

【0011】

【図1】開示される実施形態と一致する例示的なナビゲーションシステムの図表示である。

【図2】開示される実施形態と一致するナビゲーションシステムを含む例示的な車両の図表示である。

【図3】開示される実施形態と一致するナビゲーションシステムを含む車両の内部の図表示である。

【図4A】開示される実施形態と一致するナビゲーションシステムを含む例示的なモバイル装置の図表示を提供する。

【図4B】開示される実施形態と一致するナビゲーションシステムを含む例示的なモバイル装置の図表示を提供する。

【図5A】開示される実施形態と一致するナビゲーションシステムを含む例示的なウェアラブル装置の図表示を提供する。

【図5B】開示される実施形態と一致するナビゲーションシステムを含む例示的なウェアラブル装置の図表示を提供する。

【発明を実施するための形態】

【0012】

詳細な説明
以下の詳細な説明は、添付の図面を参照する。図面及び以下の説明において、可能な限り、同じ参照番号が、同じ又は類似の部分を指すために用いられる。幾つかの実例的な実施形態が、本明細書で説明されるが、修正、適応及び他の実装形態が可能である。例えば、置き換え、追加又は修正が、図面に示されているコンポーネントに対してなされても良く、本明細書で説明される実例的な方法は、開示される方法に対してステップを置き換え、再整理し、削除し又は追加することによって、修正されても良い。従って、以下の詳細な説明は、開示される実施形態を限定するものではない。代わりに、適切な範囲は、添付の請求項によって定義される。

【0013】

図１は、例示的な開示される実施形態と一致するナビゲーションシステム１００のブロック図表示を提供する。ナビゲーションシステム１００は、特定の実装形態の要件に依存する様々なコンポーネントを含んでも良い。幾つかの実施形態において、ナビゲーションシステム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つ又は複数のメモリユニット１４０、１５０、地図データ・データベース１６０、及びユーザインターフェース１７０を含んでも良い。処理ユニット１１０は、１つ又は複数の処理装置を含んでも良い。幾つかの実施形態において、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、又は任意の他の適切な処理装置を含んでも良い。同様に、画像取得ユニット１２０は、特定のアプリケーションの要件に依存して、任意の数の画像取得装置及びコンポーネントを含んでも良い。幾つかの実施形態において、画像取得ユニット１２０は、カメラ１２２、カメラ１２４及びカメラ１２６などの１つ又は複数のカメラを含んでも良い。

【0014】

アプリケーションプロセッサ１８０及び画像プロセッサ１９０の両方とも、様々なタイプの処理装置を含んでも良い。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のどちらか又は両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックスプロセッサ、中央処理ユニット（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はアプリケーションを実行することに、且つ画像処理及び分析に適している任意の他のタイプの装置を含んでも良い。幾つかの実施形態において、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングル又はマルチコアプロセッサ、モバイル装置マイクロコントローラ、中央処理ユニット等を含んでも良い。例えば、Intel（登録商標）、AMD（登録商標）などの製造業者から入手可能なプロセッサを含む様々な処理装置が、用いられても良く、且つ様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ARM（登録商標）等）を含んでも良い。

【0015】

幾つかの実施形態において、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Mobileye（登録商標）から入手可能なプロセッサチップのEyeQシリーズのいずれかを含んでも良い。これらのプロセッサ設計は、それぞれ、ローカルメモリ及び指示セットを備えた複数の処理ユニットを含む。かかるプロセッサは、複数の画像センサから画像データを受信するためのビデオ入力部を含んでも良く、且つまたビデオ出力機能を含んでも良い。一例において、EyeQ2（登録商標）は、３３２Ｍｈｚで動作する９０ｎｍ−マイクロメートル技術を用いる。EyeQ2（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（MIPS32（登録商標）34K（登録商標）コア）、５つのビジョンコンピューティングエンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（VMP（登録商標））、Denali６４ビットモバイルＤＤＲコントローラ、１２８ビット内部Sonics Interconnect、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ、及び幾つかの周辺装置からなる。MIPS34K ＣＰＵは、５つのＶＣＥ、３つのVMP^ＴＭ及びＤＭＡ、第２のMIPS34K ＣＰＵ、並びにマルチチャンネルＤＭＡと同様に、他の周辺装置を管理する。５つのＶＣＥ、３つのVMP（登録商標）、及びMIPS34K ＣＰＵは、多機能バンドルアプリケーションによって要求される集中的な視覚計算を実行することができる。

【0016】

図１は、処理ユニット１１０に含まれる２つの別個の処理装置を示すが、より多数又は少数の処理装置が用いられても良い。例えば、幾つかの実施形態において、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成するために、単一の処理装置が用いられても良い。他の実施形態において、これらのタスクは、２つを超える処理装置によって実行されても良い。

【0017】

各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）によって実行された場合に、ナビゲーションシステム１００の様々な態様の動作を制御し得るソフトウェア命令を含んでも良い。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェアを含んでも良い。メモリユニットは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光記憶装置、テープ記憶装置、着脱可能記憶装置、及び／又は任意の他のタイプの記憶装置を含んでも良い。幾つかの実施形態において、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０とは別個であっても良い。他の実施形態において、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合されても良い。

【0018】

位置センサ１３０は、ナビゲーションシステム１００の少なくとも１つのコンポーネントに関連する位置を決定するのに適した任意のタイプの装置を含んでも良い。幾つかの実施形態において、位置センサ１３０は、ＧＰＳ受信機を含んでも良い。かかる受信機は、全地球測位システム衛星によってブロードキャストされた信号を処理することによって、ユーザの位置及び速度を決定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０にとって利用可能にされても良い。

【0019】

ユーザインターフェース１７０は、ナビゲーションシステム１００の１人又は複数のユーザに情報を提供するために、又はそれらのユーザからの入力を受信するために適した任意の装置を含んでも良い。幾つかの実施形態において、ユーザインターフェース１７０は、例えば、タッチスクリーン、マイクロホン、キーボード、ポインタ装置、トラックホイール、カメラ、ノブ、ボタン等を含むユーザ入力装置を含んでも良い。かかる入力装置を用いて、ユーザは、指示又は情報をタイプすること、音声コマンドを提供すること、ボタン、ポインタ若しくは視標追跡機能を用いてスクリーン上のメニューオプションを選択することによって、又はナビゲーションシステム１００に情報を伝達するための任意の他の適切な技術を介して、ナビゲーションシステム１００に情報入力又はコマンドを提供することができ得る。

【0020】

ユーザインターフェース１７０は、例えば、ユーザに情報を提供するか又はユーザから情報を受信するように、且つ例えばアプリケーションプロセッサ１８０による使用のためにその情報を処理するように構成された１つ又は複数の処理装置を装備しても良い。幾つかの実施形態において、かかる処理装置は、眼球運動を認識し追跡すること、音声コマンドを受信し解釈すること、タッチスクリーン上でなされたタッチ及び／又はジェスチャを認識し解釈すること、キーボード入力又はメニュー選択に応答すること等のための命令を実行しても良い。幾つかの実施形態において、ユーザインターフェース１７０は、処理情報をユーザに提供するためにディスプレイ、スピーカ、触覚装置、及び／又は任意の他の装置を含んでも良い。

【0021】

地図データベース１６０は、ナビゲーションシステム１００にとって有用な地図データを記憶するために任意のタイプのデータベースを含んでも良い。幾つかの実施形態において、地図データベース１６０は、道路、水域の特徴、地理的特徴、企業、興味のある地点、レストラン、ガソリンスタンドなどを含む様々な細目の位置に関するデータを基準座標系に含んでも良い。地図データベース１６０は、かかる細目の位置だけでなく、例えば記憶された特徴のいずれかに関連する名称を含む、これらの細目に関係する説明もまた記憶しても良い。幾つかの実施形態において、地図データベース１６０は、ナビゲーションシステム１００の他のコンポーネントと物理的に一緒に位置しても良い。代替又は追加として、地図データベース１６０又はその一部は、ナビゲーションシステム１００の他のコンポーネント（例えば処理ユニット１１０）に対して遠隔に位置しても良い。かかる実施形態において、地図データベース１６０からの情報は、有線又は無線データ接続を通じて（例えば、セルラーネットワーク及び／又はインターネット等を通じて）ネットワークにダウンロードされても良い。

【0022】

カメラ１２２、１２４及び１２６は、それぞれ、環境からの少なくとも１つの画像を捕捉するのに適した任意のタイプの装置を含んでも良い。更に、任意の数のカメラが、画像プロセッサへの入力用の画像を取得するために用いられても良い。幾つかの実施形態は、単一のカメラだけを含んでも良く、一方で他の実施形態は、２台のカメラ、３台のカメラ、又は４台以上のカメラさえ含んでも良い。

【0023】

ナビゲーションシステム１００又はその様々なコンポーネントは、様々な異なるプラットフォームに組み込まれても良い。幾つかの実施形態において、ナビゲーションシステム１００は、図２に示されているように、車両２００に含まれても良い。例えば、車両２００は、図１に関連して上記で説明されたように、ナビゲーションシステム１００の処理ユニット１１０及び他のコンポーネントのいずれかを装備しても良い。幾つかの実施形態において、車両２００は、単一のカメラだけを装備しても良いが、他の実施形態において、複数のカメラが用いられても良い。例えば、図２に示されているように、車両２００のカメラ１２２、１２４のどちらかは、ＡＤＡＳ（先進運転支援システム）カメラセットの一部であっても良い。

【0024】

画像取得ユニット１２０の一部として車両２００に含まれるカメラは、任意の適切な位置に配置しても良い。幾つかの実施形態において、図２及び図３に示されているように、カメラ１２２は、バックミラーの近くに位置しても良い。この位置は、車両２００の運転手の視線と類似の視線を提供し得、それは、何が運転手に見え、何が見えないかを決定する際に助けとなり得る。カメラ１２２は、バックミラーの近くの任意の位置に配置しても良いが、しかしミラーの運転手側にカメラ１２２を配置することは、運転手の視野及び／又は視線を表す画像を得る際に更に助けとなり得る。

【0025】

画像取得ユニット１２０のカメラ用の他の位置もまた用いられても良い。例えば、カメラ１２４は、車両２００のバンパー上又はその中に位置しても良い。かかる位置は、広視野を有するカメラ用に特に適切になり得る。バンパーに位置するカメラの視線は、運転手の視線と異なる可能性があり、従って、バンパーのカメラ及び運転手は、必ずしも同じ対象物を見るとは限らない可能性がある。

【0026】

カメラに加えて、車両２００は、ナビゲーションシステム１００の様々な他のコンポーネントを含んでも良い。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と統合されて又はそれと別個に車両２００に含まれても良い。車両２００はまた、ＧＰＳ受信機などの位置センサ１３０を装備されても良く、且つまた地図データベース１６０並びにメモリユニット１４０及び１５０を含んでも良い。

【0027】

車両２００はまた、車両２００の運転手又は乗客と対話するためのユーザインターフェース１７０を含んでも良い。例えば、図３に示されているように、車両用途におけるユーザインターフェース１７０は、タッチスクリーン３２０、ノブ３３０、ボタン３４０、及びマイクロホン３５０を含んでも良い。幾つかの実施形態において、マイクロホン３５０は、カメラ１２２と同様に、バックミラー３１０に隣接して配置されても良い。車両用途において、ユーザインターフェース１７０はまた、１つ又は複数のスピーカ（例えば、車両オーディオシステムのスピーカ）を含んでも良い。

【0028】

ナビゲーションシステム１００の１つ又は複数のコンポーネントがまた、他のプラットフォームに含まれても良い。例えば、図４Ａ及び４Ｂに示されているように、ナビゲーションシステム１００のコンポーネントはまた、モバイル装置４００に含まれても良く、モバイル装置４００は、スマートフォン、タブレット等を含んでも良い。かかる実施形態において、アプリケーションプロセッサ１８０は、モバイル装置のアプリケーションプロセッサに対応しても良く、画像プロセッサ１９０は、モバイル装置のアプリケーションプロセッサと一緒に統合されるか、又はそれと別個に設けられても良い。車両用途と同様に、モバイル装置４００は、メモリユニット１４０、１５０、位置センサ１３０（例えばＧＰＳユニット）、及び地図データベース１６０を含んでも良く、それらは、モバイル装置４００に含まれても良く、又は無線データ接続を介してアクセス可能であっても良い。

【0029】

モバイル装置４００はまた、ユーザインターフェース１７０の１つ又は複数のコンポーネントを含んでも良い。例えば、幾つかの実施形態において、モバイル装置４００は、タッチスクリーン４１０、スピーカ４３０、及び／又はマイクロホン４２０を含んでも良い。モバイル装置４００はまた、図４Ｂに示されているように、カメラ１２２などの１つ又は複数のカメラを含んでも良い。モバイル装置４００に位置するカメラに加えて、モバイル装置４００に関連する画像取得ユニット１２０もまた、モバイル装置４００から離れて位置するカメラを含んでも良い。例えば、幾つかの実施形態において、モバイル装置４００は、別の装置又はプラットフォームに関連する１つ又は複数のカメラ（例えば、車両２００、又はモバイル装置４００が通信し得る任意の他のプラットフォームに含まれるカメラ）から画像データを受信するように構成されても良い。かかる実施形態において、モバイル装置４００は、有線又は無線データ接続を介して、遠隔に位置するカメラから画像データを受信しても良い。例えば、幾つかの実施形態において、モバイル装置４００は、（例えば、ダッシュボード、フロントガラス等に配置された着脱可能な取り付け台を介して）車両２００に装着されても良い。モバイル装置４００は、車両４００に含まれるコンポーネントと通信しても良い。幾つかの実施形態において、モバイル装置４００は、（Ｂｌｕｅｔｏｏｔｈ接続、又は他の無線若しくは有線接続を介して）画像情報、ナビゲーション指示等を受信するために、車両４００上の１つ又は複数の処理装置と通信しても良い。次に、モバイル装置４００は、未修正のナビゲーション指示の形で、情報をユーザに伝達しても良く、又はモバイル装置４００は、車両２００から受信された情報に基づいて、若しくはそれ自体の搭載システム（例えばＧＰＳ受信機等）からの読み取り値に基づいて作成される新しい若しくは強化されたナビゲーション指示を作成しても良い。このように、モバイル装置４００は、図３に示されているように、車両ベースのユーザインターフェース１７０によって提供される情報を強化しても良く、又は車両ベースのユーザインターフェースとして若しくは車両ベースのインターフェースの代用として働いても良い。

【0030】

図５Ａ及び５Ｂに示されているように、ナビゲーションシステム１００のコンポーネントはまた、ウェアラブル装置５００に含まれても良く、ウェアラブル装置５００は、リストユニット、眼鏡ユニット、ヘッドマウント型ユニット等を含んでも良い。かかる実施形態において、アプリケーションプロセッサ１８０は、ウェアラブル装置のアプリケーションプロセッサに対応しても良く、画像プロセッサ１９０は、ウェアラブル装置のアプリケーションプロセッサと一緒に統合されるか、又はそれと別個に設けられても良い。車両用途及びモバイル装置プラットフォームと同様に、ウェアラブル装置５００は、メモリユニット１４０、１５０、位置センサ１３０（例えばＧＰＳユニット）、及び地図データベース１６０を含んでも良く、それらは、ウェアラブル装置５００に含まれても良く、又は無線データ接続を介してアクセス可能であっても良い。

【0031】

ウェアラブル装置５００はまた、ユーザインターフェース１７０の１つ又は複数のコンポーネントを含んでも良い。例えば、幾つかの実施形態において、ウェアラブル装置５００は、ディスプレイ５１０、スピーカ５３０、及び／又はマイクロホン５２０を含んでも良い。ウェアラブル装置５００はまた、図５Ｂに示されているように、カメラ１２２などの１つ又は複数のカメラを含んでも良い。ウェアラブル装置５００に位置するカメラに加えて、ウェアラブル装置５００に関連する画像取得ユニット１２０がまた、ウェアラブル装置５００と別個に位置するカメラを含んでも良い。例えば、幾つかの実施形態において、ウェアラブル装置５００は、別の装置又はプラットフォームに関連する１つ又は複数のカメラ（例えば、ウェアラブル装置５００が通信し得る車両２００又は任意の他のプラットフォームに含まれるカメラ）から画像データを受信するように構成されても良い。かかる実施形態において、ウェアラブル装置５００は、有線又は無線データ接続を介して、遠隔に位置するカメラから画像データを受信しても良い。

【0032】

１つを超えるカメラが用いられる実施形態において、カメラ１２２、１２４及び１２６に戻ると（それらのカメラが、車両２００、モバイル装置４００、ウェアラブル装置５００、又は任意の他のプラットフォームに含まれるかどうかにかかわらず）、それらのカメラは、例えば、類似の焦点距離、視野、画像センサ等を含む類似の特徴を有しても良い。他方で、任意の複数のカメラの１つ又は複数は、他のカメラのいずれとも異なって構成されても良い。例えば、幾つかの実施形態において、第１のカメラ（例えばカメラ１２２）は、第２のカメラ（例えばカメラ１２４）の焦点距離と異なる焦点距離で構成されても良い。ナビゲーションシステム１００が、第３のカメラ（例えばカメラ１２６）を有する画像取得システム１２０を含むか又はそれと相互作用する場合に、その第３のカメラは、第１のカメラの焦点距離及び第２のカメラの焦点距離と異なる焦点距離を有しても良い。

【0033】

カメラ１２２、１２４、又は１２６のいずれもまた、特定の用途に適した分解能で構成されても良い。ナビゲーションシステム１００が、カメラ１２２、１２４、又は１２６から取得された画像から導き出されたユーザ用の視覚キュー情報で、ナビゲーション指示を強化し得るので、それらのカメラの１つ又は複数は、人間の目に似た特徴を示すように構成されても良い。例えば、幾つかの実施形態において、カメラの１つ又は複数は、色に敏感であっても良い（例えば、人間の目で見つかる円錐体に似た、赤色、緑色及び青色に敏感なＲＧＢカメラ）。更に、カメラの１つ又は複数は、人間の目に似た視力を提供する画素分解能／視野の組み合わせを有しても良い。例えば、幾つかの実施形態において、カメラは、（幾つかのスマートフォン装置に現在含まれるカメラに似た）少なくとも５メガ画素の分解能及び約５０度の水平視野を有しても良い。他の実施形態において、ナビゲーションシステム１００におけるカメラは、約１．３メガ画素のＳＸＧＡ分解能、及び３０度未満（例えば約２３度）の水平視野を有しても良い。ナビゲーションシステム１００におけるカメラは、１度当たり少なくとも４０水平画素（即ち、画像センサのＸ次元に沿って延びる行における画素）の比率を提供する分解能及び水平視野を示しても良い。幾つかの実施形態において、その比率は、１度当たり４５水平画素を超えるか、１度当たり５０水平画素か、又は１度当たり５５水平画素を超えても良い。

【0034】

カメラ１２２、１２４及び／又は１２６は、様々な光学素子を含んでも良い。幾つかの実施形態において、１つ又は複数のレンズが、例えば、カメラ用の所望の焦点距離及び視野を提供するために含まれても良い。幾つかの実施形態において、カメラ１２２、１２４及び／又は１２６は、６ｍｍレンズ又は１２ｍｍレンズと関連付けられても良い。幾つかの実施形態において、カメラ１２２、１２４及び／又は１２６は、約４６度、５０度、５２度、又はそれを超える視野（ＦＯＶ）を有する画像を捕捉するように構成されても良い。例えば、カメラ１２２、１２４及び／又は１２６はまた、より狭い視野で構成されても良い。例えば、幾つかの実施形態において、カメラ１２２、１２４及び／又は１２６は、４０度、３０度、２６度、２３度、２０度、又はそれ未満のＦＯＶを有しても良い。幾つかの実施形態において、カメラ１２２、１２４又は１２６のいずれも、約１８０度まで（例えば、約１００度〜約１５０度）の広角ＦＯＶを含んでも良い。

【0035】

カメラ１２２、１２４及び／又は１２６は、例えばＣＣＤセンサ又はＣＭＯＳセンサを含む任意の適切なタイプの画像センサを含んでも良い。一実施形態において、ＣＭＯＳ画像センサは、ロールシャッタと共に用いられても良く、その結果、行における各画素は、１つずつ読み取られ、行の走査は、全画像フレームが捕捉されるまで、行ごとに行われる。幾つかの実施形態において、行は、フレームに対して上端から底部まで順次的に捕捉されても良い。他の実施形態において、グローバルシャッタが用いられても良い。

【0036】

カメラ１２２、１２４及び／又は１２６は、環境からのユーザに見える（期待される視野範囲内における）画像が取得され得るように、プラットフォーム装置（例えば、車両２００、モバイル装置４００、ウェアラブル装置５００等）に関連して位置しても良い。例えば、図２及び３に示されているように、車両用途において、カメラ１２２は、バックミラー３１０の近くに配置されても良い。幾つかの実施形態において、カメラ１２２は、地面からの周知の高さ（例えば、地上約１．４ｍ）に配置されても良く、この情報は、カメラ１２２によって捕捉される画像において相対的大きさを決定するために用いられても良い。

【0037】

カメラ１２２、１２４及び／又は１２６のフレームレート（例えば、カメラが、次の画像フレームに関連する画素データの補足に移る前に、一画像フレームの画素データセットを取得するレート）は、制御可能であり得る。フレームレートは、例えば、カメラ１２２、１２４及び／又は１２６によって取得された画像における捕捉された対象物までの距離を決定する際に利用されても良い。カメラ１２２、１２４及び／又は１２６のいずれかにおけるフレームレートは、任意の他のカメラに関連するフレームレートより高いか、低いか、又はそれと同じであっても良い。

【0038】

更に、カメラ１２２、１２４及び／又は１２６のそれぞれに関連する焦点距離は、各カメラが、プラットフォームシステム（例えば、車両２００、モバイル装置４００、ウェアラブル装置５００等）に対する所望の距離範囲で対象物の画像を取得するように、選択可能（例えば、適切なレンズ等を含むことによって）であっても良い。例えば、幾つかの実施形態において、カメラ１２２、１２４及び／又は１２６は、数メートル内のクローズアップの対象物の画像を取得しても良い。カメラ１２２、１２４及び／又は１２６はまた、より離れた対象物の（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、又はそれより遠い範囲における）画像を取得するように構成されても良い。更に、カメラ１２２、１２４及び／又は１２６の焦点距離は、１つのカメラ（例えばカメラ１２４）が、（例えば１０ｍ内又は２０ｍ内の）比較的近い対象物の画像を取得することができ、一方で別のカメラ（例えばカメラ１２６）が、（例えば、２０ｍ、５０ｍ、１００ｍ、１５０ｍ等を超える範囲における）より離れた対象物の画像を取得できるように、選択されても良い。カメラ１２２、１２４及び／又は１２６のそれぞれに関連する視野は、それぞれの焦点距離に依存し得る。例えば、焦点距離が増加するにつれて、対応する視野は減少する。

【0039】

動作において、ナビゲーションシステム１００は、ナビゲーション指示をユーザに提供しても良い。ナビゲーション指示は、地図データ（例えば、地図データベース１６０に記憶されたデータ）に関係するか、又はそこから導き出された情報を含んでも良く、且つ画像取得ユニット１２０によって取得された画像データに関係するか、又はそこから導き出された情報を含んでも良い。

【0040】

ナビゲーション指示を作成するために、処理ユニット１１０は、ナビゲーションシステム１００に関連する少なくとも１つのコンポーネントの現在位置を決定しても良い。例えば、幾つかの実施形態において、アプリケーションプロセッサ１８０は、位置センサ１３０にアクセスし、且つ位置を示す出力を検索しても良い。この位置は、車両２００、モバイル装置４００、ウェアラブル装置５００等の位置に対応しても良い。

【0041】

処理ユニットはまた、現在位置と異なる目的地を決定するように構成されても良い。目的地は、ユーザが行きたいと望む位置、第三者がユーザ用に指定する位置、又は現在位置と異なる任意の他の位置に対応しても良い。目的地は、任意の適切な方法によって処理ユニット１１０に提供されても良い。一実施形態において、ユーザは、ユーザインターフェース１７０を介して目的地を入力しても良い。例えば、住所、緯度及び経度座標等が、キーボード又はタッチスクリーンをタイプすること、１つ又は複数の音声コマンドを話すこと、ポインタ装置若しくは追跡された眼球運動を用いてメニュー項目を選択すること、又は任意の他の適切なデータ入力技術によって、処理ユニット１１０に導入されても良い。

【0042】

現在位置及び所望の目的地情報を用いて、従来のナビゲーションシステムは、地図データにアクセスし、ルートを決定し、且つそのルートに沿ってナビゲートするための指示を生成し得る。しかしながら、現在説明されている実施形態は、画像取得ユニット１２０によって提供される画像に基づいて決定される追加情報を特徴とする指示を含む。

【0043】

例えば、幾つかの実施形態において、処理ユニット１１０は、ナビゲーションシステム１００のユーザの環境を表す複数の画像を１つ又は複数の画像取得装置（例えば、カメラ１２２、１２４及び／又は１２６）から取得するように構成されても良い。これらの複数の画像に基づいて、処理ユニット１１０は、環境における少なくとも１つの対象物に関連する視覚情報を導き出しても良い。例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、画像取得ユニット１２０によって提供された複数の画像に現れる１つ又は複数の対象物を分析し、且つ環境における対象物の少なくとも１つの特徴に関係する視覚情報を画像から導き出しても良い。幾つかの実施形態において、対象物は、車両、建物、看板、交通信号、道路の特徴、構造物又は人におけるいずれか少なくとも１つを含んでも良い。画像から導き出され得る視覚情報は、例えば、建物の色、サイズ、又は建築材料と、日除けの色と、認識されたロゴ（例えばMcDonaldの看板、金色のアーチ等）の名称と、路面における建物、道路標識又は印刷されたレタリングからの認識されたテキストと、別の車両の色と、道路に関連する分かれ道、隆起部、下り坂、スピードバンプなどの道路の特徴と、歩行者が着用する衣類の色と、フェンスの色と、等を含む観察された対象物のほぼ任意の視覚的な態様を含んでも良い。視覚情報はまた、対象物用の認識されるタイプの明示を含んでも良い。例えば、視覚情報は、認識されるフェンスのタイプ（例えば、木材、チェーンリンク、杭、防御柵等）、認識される車両のタイプ又はブランド（例えば、トラック、自動車、トラクタ、Maserati、Audi等）、橋のタイプ、建物のタイプ等を含んでも良い。

【0044】

任意のタイプの視覚情報が、特定のタスクの要件に依存して用いられても良い。幾つかの実施形態において、処理ユニット１１０は、都市部における対象物（例えば、歩行者、交通信号、建物、自動車、企業等）に基づいた視覚キューを認識しユーザに提供するために装備されても良い。処理ユニット１１０はまた、農村部で見つかる対象物（例えば、生け垣、木、フェンス、農舎、田舎風の壁、動物等）に基づいた視覚キューを認識しユーザに提供するように構成されても良い。

【0045】

幾つかの実施形態において、他の車両が、ユーザに提供される導き出された視覚情報及び視覚キューの基礎として働いても良い。かかる車両に関する情報は、ＡＤＡＳアプリケーションの副産物として決定されても良く、又はＡＤＡＳアプリケーションによって提供される情報を補足しても良い。例えば、前方衝突警報システムが、カメラの視界に存在する車両の全てを検出しても良く、且つ目標車両までの距離を計算しても良い。これらの目標車両及び距離のリストが、ナビゲーションシステム１００に伝達されても良い。目標車両のいずれかが、興味のある距離（例えば、目的地への計算されたルートに沿った曲がり角の近く）に位置する場合に、その目標車両は、ユーザに提供される視覚キューの基礎として用いられても良い。例えば、興味のある距離における目標車両が、計算されたルートに沿って曲がる場合に、この情報は、目標車両に関連する１つ又は複数の特徴（例えば、色、タイプ等）と共に、運転手に伝達されても良い。

【0046】

カメラ１２２、１２４及び／又は１２６の視野における対象物の色は、任意の適切な方法で決定されても良い。例えば、幾つかの実施形態において、カメラ１２２、１２４及び／又は１２６のいずれも、フルカラーのカメラを構成しても良い。代替として、カメラ１２２、１２４及び／又は１２６の１つ又は複数が、フルＲＧＢカメラでないカメラ（例えば赤色／クリアセンサだけを備えたカメラ）を用い得るＡＤＡＳシステムの一部である場合に、かかるシステムは、１つ又は複数の追加のカメラで強化されても良い。かかる強化は、青色を緑色と間違えるなど、色の識別における誤りを最小化し得る。動作において、ＡＤＡＳカメラからの目標車両は、目標車両に関連する色情報を決定又は確認するために、カラーカメラによって提供されるパッチと照合される。

【0047】

カメラ１２２、１２４及び／又は１２６の視野内における対象物までの距離はまた、任意の適切な方法を用いて決定されても良い。幾つかの実施形態において、デプスマップが、移動からの構造復元（ＳＦＭ）を用いて決定されても良い。かかるデプスマップは、例えば、ＡＤＡＳシステムからの計算上の出力として利用可能であり得る。ＳＦＭデプスマップは、例えば、異なる位置からカメラによって取得された（例えば、カメラが車両２００と共に移動するので）２つの画像を比較することによって決定されても良い。カメラの移動、及び取得画像の２つにおける目標対象物の結果としての外観は、少なくとも１つの距離（例えば、取得カメラと路面との間の距離）が周知で且つ相対的な尺度決定の基礎として使用され得る場合など、目標対象物までの距離の決定を可能にし得る。任意の２つの画像が比較されても良いが、幾つかの実施形態において、１０ｍ以上の距離にわたる移動後に取得された画像が、１００ｍ範囲における目標距離の決定用の適切な基礎を提供し得る（それは、ナビゲーション支援を決定するために有用であり得る）。速度計読み取り値又はＧＰＳユニットからの出力などの追加情報もまた、目標対象物までの距離を決定するために用いられても良い。例えば、速度計又はＧＰＳは、ホスト車両の移動に関する情報を提供しても良く、それは、ＳＦＭ結果に対する地球規模の情報及び従って目標対象物までの距離を提供し得る。

【0048】

かかる計算は、画像デプスマップを生成するために、一連の画像における全ての画素用に実行することができる。これらのデプスマップは、例えば、特定の目標対象物が、興味のある交差点の前又は後に位置するかどうかを決定するために用いられても良い。デプスマップは、各画素値が情景における地点までの奥行きを示す、画素の２次元アレイであっても良い。以下で更に説明されるように、この情報は、「黄色の日除けを備えた店舗の直前１００ｍで左に曲がる」など、視覚情報を含むナビゲーション指示を提供するために用いられても良い。

【0049】

デプスマップ計算は、計算上高価になり得る。従って、ＡＤＡＳデプスマップが既に利用可能な場合に、それらは、容易に使用され得る。しかしながら、他の実施形態において、ＧＰＳによってキューを与えられた視覚（GPS cued vision）は、計算上それほど高価でない代替を提供し得る。例えば、位置センサ１３０が、交差点までの距離を決定するために用いられても良い。この情報を用いれば、交差点までの目標距離用の優れた奥行きの推定を提供するために、２つの画像が、適切な離れた距離の位置（例えば、約１００ｍの目標距離用の１ｍ〜１０ｍ離れた、約２００ｍの目標距離用の１ｍ〜２０ｍ離れた、又は興味のある目標距離の約５％〜１０％の）において取得されても良い。次に、２つの画像の少なくとも１つは、ワープされても良く、ワープされた画像は、任意の目標対象物が目標距離と一致するかどうかを決定するために、別の画像と比較されても良い。即ち、画像の選択された領域（例えば、潜在的な目標対象物に対応する領域）が、画像の取得間の移動量を考慮して、目標距離に位置する対象物の画像における予想される変化に対して分析されても良い。興味のある目標距離に位置する対象物の予想される移動の特性を示す画像領域は、一致すると考えられ、且つナビゲーションシステム１００のユーザに提供される視覚情報用の基礎として用いられても良い。

【0050】

より具体的には、システムは、第１の画像の第１の領域を第２の画像の対応する領域と相関させるように、且つ第１の画像の第１の領域と第２の画像の対応する領域との間の密なオプティカルフローを計算するように構成されても良い。密なオプティカルフローは、第１又は第２の画像の少なくとも１つをワープさせるために用いられても良い。ナビゲーションシステム１００は、対応関係を確立するように第１の画像における対象物特徴を第２の画像における対象物特徴と一致させるために、取得画像を処理しても良い。システムは、各画素用の奥行き情報を含む視差マップを作成しても良い。視差マップ計算は、第１の画像及び第２の画像における対応点のｘ座標間の、典型的には画素における距離を表しても良い。第１及び／又は第２の画像における各画素に関し、視差マップは、像点用の視差及び奥行き情報を含んでも良い。システムは、異なる分解能で視差画像を生成しても良い。期待値の或る範囲（例えば±１０％）内に入る視差を備えた画像は、一致を構成しても良く、従って、所望の目標距離に位置する対象物に対応しても良い。この技術は、ＧＰＳによってキューを与えられた視覚と呼ばれても良いが、全体画像用の密なデプスマップを計算するより効率的になり得る。

【0051】

正確な移動を計算するために、道路平面に沿った地点が追跡されても良い。追跡される地点に基づいて、ホモグラフィが計算されても良く、ホモグラフィは、回転及びＦＯＥに分解することができる。１０ｍ又は２０ｍでもよい全体的な基線（即ち、取得画像間の移動距離）を測るために、２ｍ〜３ｍ離れたフレームなどの中間基線上の自己移動を計算し、且つ移動を連結することが便利になり得る。そうでなければ、路上の地点は、移動し過ぎる可能性があり、従って追跡するのが難しくなり得る。

【0052】

ひとたび自己移動が分かると、２つの画像は、画像回転を除去するように回転して調整することができる。これは、純粋な平行移動の一対に帰着し得る。１０ｍの基線で２００ｍにおける特徴を検出するために、１つの画像は、ＦＯＥを中心に２１０／２００の倍率でスケーリングされても良く、整列する特徴は、その距離にあると思われる。この距離を検証するために、異なる基線及び適切なスケーリングで反復される照合を備えた第３の画像を用いることができる。両方のテストにおいて優れた一致を与える特徴が、２００ｍに位置するものと思われ得る。

【0053】

複数のスケーリングが、約２００ｍの範囲を見渡すために用いられ得る。代替として、２００ｍ用のスケーリング後の残余のフローが、残余の奥行きを提供する。このプロセスは、ＧＰＳから取得された関連する奥行きのまわりの特定の奥行き窓における特徴を除去できるようにする。

【0054】

複数の取得画像に基づいて、興味のある距離に位置する１つ又は複数の目標対象物を識別した後で、それらの目標対象物のいずれかに関連する視覚情報が、現在位置から目的地へナビゲートするための１つ又は複数の指示を決定するために用いられても良い。具体的には、ナビゲーションシステム１００は、複数の画像から導き出された視覚情報への少なくとも１つの言及を１つ又は複数の指示に含んでも良い。

【0055】

かかる指示は、アプリケーションプロセッサ１８０によって、画像プロセッサ１９０によって、両方の組み合わせによって、又は１つ若しくは複数の他の処理装置を用いて作成されても良い。例えば、幾つかの実施形態において、画像プロセッサ１９０は、取得画像に存在する目標対象物及びそれらのそれぞれの距離、並びに目標対象物に関連する１つ又は複数の視覚的な特徴のリストをアプリケーションプロセッサ１８０に提供するように構成されても良い。アプリケーションプロセッサ１８０は、興味のある目標距離に位置する目標対象物をリストから識別し選択すること、及び選択された目標対象物に関連する視覚情報を１つ又は複数の指示に組み込むことによって、指示を決定しても良い。

【0056】

代替として、アプリケーションプロセッサ１８０が、新しい指示を出す準備ができた場合に、それは、興味のある特定の目標距離に位置する目標対象物を識別するために、画像プロセッサ１９０に問い合わせを送信しても良い。画像プロセッサは、目標対象物の１つ又は複数の視覚的な特徴と共に目標対象物の同一性を返すことによって応答しても良い。次に、アプリケーションプロセッサ１８０は、この情報を、作成される指示に組み込んでも良い。

【0057】

他の実施形態において、画像プロセッサ１９０は、視覚情報を組み込むナビゲーション指示を作成する責任を負っても良い。これら指示は、ユーザに送るためにアプリケーションプロセッサ１８０に提供されても良く、又は画像プロセッサ１９０は、これら指示を直接ユーザに送っても良い。

【0058】

幾つかの実施形態において、ナビゲーションシステム１００は、特定の対象物に関する視覚情報を含む指示を出す前に、特定の対象物がユーザに見えるはずかどうかをテストしても良い。例えば、例えば地図データベース１６０に記憶された地図データ情報に基づいて、或る対象物（例えば特定の企業）の存在及びその正確な位置が知られても良い。記憶された地図情報に表されたかかる対象物は、マップされたエンティティと呼ばれても良い。幾つかの実施形態において、処理ユニット１１０は、マップされたエンティティに言及するナビゲーション指示（例えば、「１００ｍでExxonガソリンスタンドを左に曲がる」）を作成することが可能である。しかしながら、視覚情報の利用は、これらのタイプの指示を向上させるために用いることができる。例えば、幾つかの実施形態において、特定の陸標又は企業が、地図データベース１６０に記憶された、マップされたエンティティとして表されない可能性がある。かかる場合に、画像取得ユニット１２０及び画像プロセッサ１９０は、興味のある距離に位置するものとしてかかる対象物を識別しても良く、且つナビゲーション指示に含むように１つ又は複数の視覚的な特徴を決定しても良い（例えば、企業に関連する看板又は印の文字認識及び／又はロゴ若しくは色認識に基づいた「１００ｍでExxonガソリンスタンドを左に曲がる」、「青い日除けを備えた建物の直後に右に曲がる」等）。

【0059】

更に、ナビゲーションシステム１００は、特定のマップされたエンティティが、ユーザに見えるはずかどうかを決定し、且つこの情報に基づいてナビゲーション指示を生成しても良い。例えば、ナビゲーションシステム１００が、マップされたエンティティとして記憶された特定のガソリンスタンドに気づいているが、しかし画像取得ユニット１２０の出力に基づいて、ガソリンスタンドへの運転手の視界を遮る大きなトラックの後ろに運転手が居ることを認識している場合に、ナビゲーションシステム１００は、運転手が見えないガソリンスタンドに言及する紛らわしい指示を出さなくても良い。代替として、ナビゲーションシステム１００は、更に進んで不明瞭な対象物に関する指示を出しても良いが、しかしそれが現在不明瞭だという情報及び不明瞭な対象物に関連する視覚情報（例えば、「白いトラックの背後の次のExxonステーションで左に曲がる」）と共にそうしても良い。

【0060】

又はナビゲーションシステム１００が、マップされたエンティティとして記憶された特定の位置（例えばMcDonaldのレストラン）を知っている場合に、ナビゲーションシステム１００は、マップされたエンティティが存在するかどうかをテストし、且つテストに基づいて適切なナビゲーション指示を作成するために、画像取得ユニット１２０の出力を用いることができる。例えば、マップされたエンティティであるMcDonaldに関連する黄色の看板が、画像取得ユニット１２０によって提供される画像において認識される場合に、ナビゲーションシステム１００は、「黄色のMcDonaldの看板の直後に右に曲がる」と言う指示を出しても良い。他方で、取得画像に黄色の看板が見つからない場合に、ナビゲーションシステム１００は、「McDonaldの直後に右に曲がる」か、又はMcDonaldが画像にない場合には、単に「１００ｍで右に曲がる」言っても良い。

【0061】

従って、幾つかの実施形態において、処理ユニット１１０は、少なくとも１つのマップされたエンティティを識別するために地図データを用いるように、且つ画像取得ユニット１２０によって提供された複数の画像に基づいて、少なくとも１つのマップされたエンティティがユーザに見えるかどうかを決定するように構成されても良い。マップされたエンティティがユーザに見える場合に、処理ユニット１１０は、マップされたエンティティへの少なくとも１つの言及（例えば、マップされたエンティティの少なくとも１つの視覚的な特徴を含む）を、決定された１つ又は複数の指示に含んでも良い。他方で、マップされたエンティティがユーザに見えないと決定された場合に、処理ユニット１１０は、マップされたエンティティへの言及を、決定された指示から省略しても良く、又は代替として、マップされたエンティティへの少なくとも１つの言及及びマップされたエンティティをユーザの視界から隠す対象物への少なくとも１つ言及を、決定された１つ又は複数の指示に含んでも良い。

【0062】

幾つかの実施形態において、１つを超える目標対象物が、関連する目標距離に存在する可能性がある。かかる場合に、ナビゲーションシステム１００は、ナビゲーション指示に含まれる視覚情報用の基礎としてどの目標対象物が用いられるべきかを決定するために、階層的方式を用いても良い。例えば、ひとたび目標距離（例えば、目的地へのルートに沿った次の方向転換用に決定された距離）が決定されると、地図データベース１６０は、いずれか適切なマップされたエンティティが目標距離に存在し得るかどうかを決定するために、アクセスされても良い。マップされたエンティティが、画像取得ユニット１１０によって提供された画像に基づいて視覚的に検証される場合に、それらのマップされたエンティティは、所定の階層に従ってフィルタリングされても良い。例えば、大きな物理構造物に関連するマップされたエンティティは、ナビゲーション指示を作成する際に用いるために、より小さな物理構造物に関連するマップされたエンティティに優先して選択されても良い。同様に、明るい色の看板、位置標識、ロゴ等に関連するマップされたエンティティは、かかる看板、位置標識もロゴもないマップされたエンティティに優先して選択されても良い。

【0063】

幾つかの場合に、複数のマップされたエンティティが、目標距離に位置するものとして識別及び／又は検証されても良い。かかる場合に、ナビゲーションシステム１００は、複数の目標のどれに依存するかを決定するために、追加の階層的順位を適用しても良い。再び、対象物の色及びサイズが、対象物を格付けする際の要因であっても良い。追加又は代替として、対象物の位置が用いられても良い。例えば、曲がる側に、且つ交差点の手前に位置する目標対象物は、曲がる側だが交差点の後に位置する目標対象物の前に格付けされても良い。階層において更により低いのは、曲がる側の反対側で交差点の手前に位置する目標対象物であっても良く、それは、曲がる側の反対側で交差点の後に位置する目標対象物より高く格付けされても良い。優先リストは、ユーザ選好によって調整することができる。

【0064】

この階層に基づいて、ナビゲーションシステム１００は、目標対象物及びどんな特徴が見えるかに適した方向転換指示「２００ｍで、緑の日除けを備えたHoliday Innを過ぎて左に曲がる」を出力しても良い。

【0065】

次に、地図データベースから陸標が検出も検証もされない場合に、システムは、いずれかの車両が、関連する目標距離における目標対象物として適格であるかどうかを決定しよう試みても良い。例えば、車両が、関連する交差点で曲がっているように取得画像から認識される場合に、車両は、指示用の基礎として用いられても良い。例えば、「１００ｍの交差点で左に曲がる赤い車両に続く」。

【0066】

次に、マップされたエンティティも関連する車両もない場合に、ナビゲーションシステム１００は、目標距離に位置する視覚的に検出される構造物を探索しても良い。かかる構造物がある場合に、処理ユニット１１０は、特定のブランドのガソリンスタンド、別個のロゴを備えたファストフード店などの陸標対象物のデータベースに対し、カラーヒストグラム、テンプレートマッチング、パターン認識及び／又はＯＣＲを用いて、構造物を分類しようと試みても良い。一致が見つかった場合に、識別された構造物に関する視覚情報を含む適切な指示が提供されても良い。

【0067】

構造物が、データベースにおける特定の例と一致できない場合に、クラス型が識別され用いられても良い。幾つかの例は、（ａ）高さ６ｍを超える赤レンガ色の構造物が検出される場合に、「高いレンガ建築」を示し、（ｂ）サイズで１ｍより大きなカラーの小塊が、地上から少なくとも２ｍのところに位置している場合に、「カラーの日除け」を示し、（ｃ）イギリスにおいて、約１．５ｍの高さで０．５ｍ幅の赤い対象物が検出される場合に、「郵便ポスト」を示すことを含んでも良い。もちろん、多くの他のクラスを定義し認識することができる。

【0068】

クラスは、優先度に従ってテストされても良い。検出される第１のクラスは、選択されたクラスであっても良い。代替として、各検出されるクラスは、視覚的に強化されたナビゲーション指示用の基礎として利用するために、目標対象物を選択する際の助けとなるクラスの重み、優先度の重み、及び／又は検出スコアを割り当てられても良い。それは、クラス優先度及び検出スコアの重みとすることが可能である。

【0069】

幾つかの実施形態において、決定木を用いることができる。一致が見つかった場合に、視覚的に強化されたナビゲーション指示が提供されても良い。他方で、一致が次に見つからなかった場合に、標準ＧＰＳ型指示、例えば「２００ｍで左に曲がる」が提供されても良い。

【0070】

特定の目標対象物が、ルート上の特定の地点に関するナビゲーション指示のセット全体の基礎として使用される必要はない。代わりに、ナビゲーションシステムは、追加又は代替目標対象物を断続的又は連続的に追及し、新しい目標対象物（特に、以前に依存した目標対象物より高い階層的ステータスを備えた目標対象物）が検出された場合に、更新された指示を提供しても良い。例えば、陸標が方向転換の反対側で最初に検出され、その後、次に、第２の陸標が、方向変換と同じ側で検出された場合に、新しく検出された陸標に基づいて、更新された指示が提供されても良い。更に、陸標が、地図データベースに存在するが、しかし視覚的に検証されなかった場合に、システムは、陸標を視覚的に検証するように繰り返し試みても良い。ひとたび視覚的に検証されると、指示は、更新されても良い。

【0071】

ひとたび視覚的に強化されたナビゲーション指示が決定されると、それらは、ナビゲーションシステム１００のユーザに送られても良い。幾つかの実施形態において、指示は、（例えば、車両２００に関連する１つ又は複数のスピーカを介して、モバイル装置４００のスピーカ４３０を介して、又はウェアラブル装置５００に関連するイヤホン／スピーカ５３０を介して）聞き取れるように送られても良い。追加又は代替として、指示は、（例えば、車両２００のディスプレイ／タッチスクリーン３２０を介して、モバイル装置４００のディスプレイ／タッチスクリーン４１０を介して、又はウェアラブル装置５００のディスプレイ５１０を介して）視覚的に送られても良い。

【0072】

実例的な実施形態が、本明細書で説明されたが、説明された例は、非限定的である。更に、開示されたルーチンのステップは、ステップの再整理、及び／又はステップの挿入若しくは削除によることを含む任意の方法で修正されても良い。明細及び例が、単に実例として考えられ、真の範囲及び趣旨が、以下の請求項及びそれらの均等物の完全な範囲によって示されることが意図されている。
［項目１］
少なくとも１つの処理装置であって、
ナビゲーションシステムに関連する１つ又は複数の位置センサの出力に基づいて、上記ナビゲーションシステムに関連する少なくとも１つのコンポーネントの現在位置を決定すること、
上記現在位置と異なる目的地を決定すること、
１つ又は複数の画像取得装置から、上記ナビゲーションシステムのユーザの環境を表す複数の画像を取得すること、
上記複数の画像から、上記環境における少なくとも１つの対象物に関連する視覚情報を導き出すこと、
上記現在位置から上記目的地へナビゲートするための１つ又は複数の指示を決定し、上記１つ又は複数の指示が、上記複数の画像から導き出された上記視覚情報への少なくとも１つの言及を含むこと、且つ
上記１つ又は複数の指示を上記ユーザに送ること、
を行うように構成された少なくとも１つの処理装置を含むナビゲーションシステム。
［項目２］
上記目的地の決定が、ユーザ入力に基づく、項目１に記載のナビゲーションシステム。
［項目３］
上記ユーザ入力が、上記目的地に対応する住所の入力を含む、項目２に記載のナビゲーションシステム。
［項目４］
上記１つ又は複数の画像取得装置が、第１のカメラ及び第２のカメラを含み、上記第１のカメラが、上記第２のカメラの焦点距離と異なる焦点距離を有する、項目１に記載のナビゲーションシステム。
［項目５］
上記１つ又は複数の画像取得装置が、上記第１のカメラの上記焦点距離及び上記第２のカメラの上記焦点距離と異なる焦点距離を有する第３のカメラを含む、項目４に記載のナビゲーションシステム。
［項目６］
上記１つ又は複数の画像取得装置が、少なくとも５メガ画素の分解能を有するカメラを含む、項目１に記載のナビゲーションシステム。
［項目７］
上記視覚情報が、上記環境における上記少なくとも１つの対象物の少なくとも１つの特徴に関する、項目１に記載のナビゲーションシステム。
［項目８］
上記少なくとも１つの対象物が、車両、建物、看板、交通信号、道路の特徴、構造物、又は人間の少なくとも１つを含む、項目７に記載のナビゲーションシステム。
［項目９］
上記少なくとも１つの処理装置が、
少なくとも１つのマップされたエンティティを識別するために地図データを用いること、
上記少なくとも１つのマップされたエンティティが上記ユーザに見えるかどうかを、上記複数の画像に基づいて決定すること、且つ
上記マップされたエンティティが上記ユーザに見えると決定された場合に、上記マップされたエンティティへの少なくとも１つの言及を上記１つ又は複数の指示に含めること、
を行うように構成される、項目１に記載のナビゲーションシステム。
［項目１０］
上記少なくとも１つの処理装置が、
少なくとも１つのマップされたエンティティを識別するために地図データを用いること、
上記少なくとも１つのマップされたエンティティが上記ユーザに見えるかどうかを、上記複数の画像に基づいて決定すること、且つ
上記マップされたエンティティが上記ユーザに見えないと決定された場合に、上記マップされたエンティティへの少なくとも１つの言及及び上記マップされたエンティティを上記ユーザの視界から隠す対象物への少なくとも１つの言及を、上記決定された１つ又は複数の指示に含めること、
を行うように構成される、項目１に記載のナビゲーションシステム。
［項目１１］
上記少なくとも１つの処理装置が、
少なくとも１つのマップされたエンティティを識別するために地図データを用いること、
上記少なくとも１つのマップされたエンティティが上記ユーザに見えるかどうかを、上記複数の画像に基づいて決定すること、且つ
上記マップされたエンティティが上記ユーザに見えないと決定された場合に、上記マップされたエンティティへのどんな言及も、上記決定された１つ又は複数の指示から省略すること、
を行うように構成される、項目１に記載のナビゲーションシステム。
［項目１２］
上記視覚情報が、上記環境における上記少なくとも１つの対象物に関連する色を含む、
項目１に記載のナビゲーションシステム。
［項目１３］
上記視覚情報が、上記環境における上記少なくとも１つの対象物に関連する対象物タイプを含む、項目１に記載のナビゲーションシステム。
［項目１４］
上記１つ又は複数の指示が、聞き取れるように上記ユーザに送られる、項目１に記載のナビゲーションシステム。
［項目１５］
上記１つ又は複数の指示が、モバイル装置に関連するディスプレイ又はスピーカの少なくとも１つに送られる、項目１に記載のナビゲーションシステム。
［項目１６］
上記１つ又は複数の指示が、車両に関連するディスプレイ又はスピーカの少なくとも１つに送られる、項目１に記載のナビゲーションシステム。
［項目１７］
上記１つ又は複数の指示が、ウェアラブル装置に関連するディスプレイ又はスピーカの少なくとも１つに送られる、項目１に記載のナビゲーションシステム。
［項目１８］
上記１つ又は複数の画像取得装置が、先進運転支援システム（Advanced Driver Assistance System）によるカメラを含む、項目１に記載のナビゲーションシステム。
［項目１９］
車両の位置を表す出力を提供するように構成されたＧＰＳセンサと、
上記車両の外部の環境の複数の画像を取得するように構成された１つ又は複数の画像取得装置と、
少なくとも１つの処理装置であって、
ナビゲーションシステムに関連する１つ又は複数の位置センサの出力に基づいて、上記ナビゲーションシステムに関連する少なくとも１つのコンポーネントの現在位置を決定すること、
上記現在位置と異なる目的地を決定すること、
１つ又は複数の画像取得装置から、上記ナビゲーションシステムのユーザの環境を表す複数の画像を取得すること、
上記複数の画像から、上記環境における少なくとも１つの対象物に関連する視覚情報を導き出すこと、
上記現在位置から上記目的地へナビゲートするための１つ又は複数の指示を決定し、
上記１つ又は複数の指示が、上記複数の画像から導き出された上記視覚情報への少なくとも１つの言及を含むこと、且つ
上記１つ又は複数の指示を上記ユーザに送ること、を行うように構成された少なくとも１つの処理装置と、
を含む車両。
［項目２０］
上記目的地の決定が、上記目的地に対応する住所を含むユーザ入力に基づく、項目１９に記載の車両。
［項目２１］
上記１つ又は複数の画像取得装置が、第１のカメラ及び第２のカメラを含み、上記第１のカメラが、上記第２のカメラの焦点距離と異なる焦点距離を有する、項目１９に記載の車両。
［項目２２］
上記１つ又は複数の画像取得装置が、少なくとも５メガ画素の分解能を有するカメラを含む、項目１９に記載の車両。
［項目２３］
上記視覚情報が、上記環境における上記少なくとも１つの対象物の少なくとも１つの特徴に関する、項目１９に記載の車両。
［項目２４］
上記少なくとも１つの対象物が、車両、建物、看板、交通信号、道路の特徴、構造物、又は人間の少なくとも１つを含む、項目１９に記載の車両。
［項目２５］
上記少なくとも１つの処理装置が、
少なくとも１つのマップされたエンティティを識別するために地図データを用いること、
上記少なくとも１つのマップされたエンティティが上記ユーザに見えるかどうかを、上記複数の画像に基づいて決定すること、
上記マップされたエンティティが上記ユーザに見えると決定された場合に、上記マップされたエンティティへの少なくとも１つの言及を上記決定された１つ又は複数の指示に含めること、
を行うように構成される、項目１９に記載の車両。
［項目２６］
上記少なくとも１つの処理装置が、
上記マップされたエンティティが上記ユーザに見えないと決定された場合に、上記マップされたエンティティへの少なくとも１つの言及及び上記マップされたエンティティを上記ユーザの視界から隠す対象物への少なくとも１つの言及を、上記決定された１つ又は複数の指示に含めること、を行うように構成される、項目２５に記載の車両。
［項目２７］
上記視覚情報が、上記環境における上記少なくとも１つの対象物に関連する色又はタイプの少なくとも１つを含む、項目１９に記載の車両。
［項目２８］
上記１つ又は複数の指示が、聞き取れるように上記ユーザに送られる、項目１９に記載の車両。
［項目２９］
ナビゲーション情報を生成し送るための方法であって、
１つ又は複数の位置センサの出力に基づいて現在位置を決定するために、１つ又は複数の処理装置を用いることと、
上記現在位置と異なる目的地を決定することと、
１つ又は複数の画像取得装置から、個人を取り囲む環境を表す複数の画像を取得することと、
上記環境における少なくとも１つの対象物に関連する視覚情報を上記複数の画像から導き出すために、上記１つ又は複数の処理装置を用いることと、
上記現在位置から上記目的地へナビゲートするための１つ又は複数の指示を決定することであって、上記１つ又は複数の指示が、上記複数の画像から導き出された上記視覚情報への少なくとも１つの言及を含むことと、
上記１つ又は複数の指示を上記個人に送ることと、
を含む方法。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】