特許 6055562 環境情報を用いた自律走行車両の画像処理方法、車両及び非一時的コンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6055562

(24)【登録日】2016年12月9日

(45)【発行日】2016年12月27日

(54)【発明の名称】環境情報を用いた自律走行車両の画像処理方法、車両及び非一時的コンピュータ可読媒体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20161219BHJP

   B60W 30/09 20120101ALI20161219BHJP

   B60W 40/02 20060101ALI20161219BHJP

【ＦＩ】

   G08G1/16 C

   B60W30/09

   B60W40/02

【請求項の数】18

【全頁数】23

(21)【出願番号】特願2015-563088(P2015-563088)

(86)(22)【出願日】2014年4月22日

(65)【公表番号】特表2016-532914(P2016-532914A)

(43)【公表日】2016年10月20日

(86)【国際出願番号】US2014034904

(87)【国際公開番号】WO2014209477

(87)【国際公開日】20141231

【審査請求日】2015年12月21日

(31)【優先権主張番号】13/925,795

(32)【優先日】2013年6月24日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】ファーガソン デイヴィッド アイ

(72)【発明者】

【氏名】ロー ワン−イェン

【審査官】 有賀 信

(56)【参考文献】

【文献】 特開平０７−１６０９９５（ＪＰ，Ａ）

【文献】 特開２０１１−１４９８３５（ＪＰ，Ａ）

【文献】 特開２００７−３１５８６１（ＪＰ，Ａ）

【文献】 特開２００５−０５６１２８（ＪＰ，Ａ）

【文献】 特開２００８−１２８８２７（ＪＰ，Ａ）

【文献】 特開２０１２−２０８１１１（ＪＰ，Ａ）

【文献】 特開２００５−０９８９１７（ＪＰ，Ａ）

【文献】 特開２００５−２０２６７８（ＪＰ，Ａ）

【文献】 特開２０１１−１９９５０１（ＪＰ，Ａ）

【文献】 特開２００６−２８４４１４（ＪＰ，Ａ）

【文献】 特許第４８６２０３６（ＪＰ，Ｂ２）

【文献】 特表２０１３−５４４６９５（ＪＰ，Ａ）

【文献】 特表２０１３−５４４６９６（ＪＰ，Ａ）

【文献】 特表２０１３−５４４６９７（ＪＰ，Ａ）

【文献】 特表２０１３−５２９１５３（ＪＰ，Ａ）

【文献】 国際公開第２００７／０１７６９３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｗ １０／００─１０／３０

Ｂ６０Ｗ ３０／００─５０／１６

Ｇ０８Ｇ １／００─９９／００

Ｇ０１Ｃ ２１／００─２１／３６

Ｇ０１Ｃ ２３／００─２５／００

Ｂ６０Ｋ ３５／００─３７／０６

Ｇ０２Ｂ ２７／００─２７／６４

(57)【特許請求の範囲】

【請求項1】

環境の走行車線内に存在する、前記環境内で自律モードで動作するように構成された車両の少なくとも１つのセンサから、プロセッサを用いて前記環境を示す画像データを受け取るステップと、
前記走行車線を示す前記環境内の道路の所定のイメージマップを前記画像データ上に投影するステップを含む、前記画像データを前記所定のイメージマップと比較するステップと、
前記比較するステップと、前記所定のイメージマップによって示される前記走行車線の所定の特徴とに基づいて、前記画像データにおいて、前記走行車線の前記所定の特徴の少なくとも一部に対応する前記走行車線の特徴を含む画像データ部分を判定するステップと、
前記判定された前記画像データ部分を処理することにより、さらに、該判定された画像データ部分以外の画像データを含む残りの画像データ部分を処理しないことにより、前記走行車線内に物体が存在するかどうかを判定するステップと、
前記走行車線内に物体が存在するかどうかについての前記判定に基づいて、前記環境内で前記車両を前記自律モードで制御する命令を与えるステップと、
を含むことを特徴とする方法。

【請求項2】

前記判定された画像データ部分は、前記画像データの第１の部分であり、
前記環境内の前記道路の前記所定のイメージマップは、前記環境の前記走行車線と異なる前記環境の第２の走行車線をさらに示し、前記方法は、
前記比較するステップに基づいて、前記環境の前記第２の走行車線に対応する、前記画像データの第１の部分とは異なる第２の画像データ部分を判定するステップと、
前記環境の前記第２の走行車線に対応する前記第２の画像データ部分を処理することにより、さらに、前記第２の走行車線に対応する前記第２の画像データの部分以外の画像データを含む第２の残りの画像データ部分を処理しないことにより、前記第２の走行車線内に物体が存在するかどうかを判定するステップと、
前記第２の走行車線内に物体が存在するかどうかについての前記判定に基づいて、前記環境内で前記車両を前記自律モードで制御する命令を与えるステップと、
をさらに含む、
請求項１に記載の方法。

【請求項3】

前記所定のイメージマップは、前記環境の前記第２の走行車線の位置又は前記環境の前記第２の走行車線の境界の少なくとも一方を示し、
前記所定のイメージマップを前記画像データと比較するステップは、
前記画像データを、（ｉ）前記所定のイメージマップによって示される前記環境の前記第２の走行車線の前記位置、又は（ｉｉ）前記所定のイメージマップによって示される前記環境の前記第２の走行車線の前記境界、の少なくとも一方と比較するステップをさらに含む、
請求項２に記載の方法。

【請求項4】

前記環境の前記第２の走行車線は、前記環境の前記走行車線に隣接する、
請求項２に記載の方法。

【請求項5】

前記所定のイメージマップは、前記環境の前記走行車線の位置又は前記環境の前記走行車線の境界の少なくとも一方を示し、
前記所定のイメージマップを前記画像データと比較するステップは、
前記画像データを、（ｉ）前記所定のイメージマップによって示される前記環境の前記走行車線の前記位置、又は（ｉｉ）前記所定のイメージマップによって示される前記環境の前記走行車線の前記境界、の少なくとも一方と比較するステップをさらに含む、
請求項１に記載の方法。

【請求項6】

前記所定のイメージマップは、前記環境内における前記車両の進行方向を含む、
請求項１に記載の方法。

【請求項7】

環境内で自律モードで動作するように構成された、前記環境の走行車線内に存在する車両であって、
前記環境を示す画像データを受け取るように構成されたセンサと、
コンピュータシステムと、
を備え、前記コンピュータシステムは、
前記走行車線を示す前記環境内の道路の所定のイメージマップを前記画像データ上に投影することを含め、前記画像データを前記所定のイメージマップと比較し、
前記比較と、前記所定のイメージマップによって示される前記走行車線の所定の特徴とに基づいて、前記画像データにおいて、前記走行車線の前記所定の特徴の少なくとも一部に対応する前記走行車線の特徴を含む画像データ部分を判定し、
前記判定された前記画像データ部分を処理することにより、さらに、該判定された画像データ部分以外の画像データを含む残りの画像データ部分を処理しないことにより、前記走行車線内に物体が存在するかどうかを判定し、
前記走行車線内に物体が存在するかどうかについての前記判定に基づいて、前記環境内で前記車両を前記自律モードで制御する命令を与える、
ように構成される、
ことを特徴とする車両。

【請求項8】

前記判定された画像データ部分は、前記画像データの第１の部分であり、
前記環境内の前記道路の前記所定のイメージマップは、前記環境の前記走行車線と異なる前記環境の第２の走行車線をさらに示し、前記コンピュータシステムは、
前記比較に基づいて、前記環境の前記第２の走行車線に対応する、前記画像データの第１の部分とは異なる第２の画像データ部分を判定し、
前記環境の前記第２の走行車線に対応する前記第２の画像データ部分を処理することにより、さらに、前記第２の走行車線に対応する前記第２の画像データの部分以外の画像データを含む第２の残りの画像データ部分を処理しないことにより、前記第２の走行車線内に物体が存在するかどうかを判定し、
前記第２の走行車線内に物体が存在するかどうかについての前記判定に基づいて、前記環境内で前記車両を前記自律モードで制御する命令を与える、
ようにさらに構成される、
請求項７に記載の車両。

【請求項9】

前記所定のイメージマップは、前記環境の前記第２の走行車線の位置又は前記環境の前記第２の走行車線の境界の少なくとも一方を示し、
前記所定のイメージマップを前記画像データと比較することは、
前記画像データを、（ｉ）前記所定のイメージマップによって示される前記環境の前記第２の走行車線の前記位置、又は（ｉｉ）前記所定のイメージマップによって示される前記環境の前記第２の走行車線の前記境界、の少なくとも一方と比較することをさらに含む、
請求項８に記載の車両。

【請求項10】

前記環境の前記第２の走行車線は、前記環境の前記走行車線に隣接する、
請求項９に記載の車両。

【請求項11】

前記所定のイメージマップは、前記環境の前記走行車線の位置又は前記環境の前記走行車線の境界の少なくとも一方を示し、
前記所定のイメージマップを前記画像データと比較することは、
前記画像データを、（ｉ）前記所定のイメージマップによって示される前記環境の前記走行車線の前記位置、又は（ｉｉ）前記所定のイメージマップによって示される前記環境の前記走行車線の前記境界、の少なくとも一方と比較することをさらに含む、
請求項７に記載の車両。

【請求項12】

命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、車両内のコンピュータシステムによって実行された時に、該コンピュータシステムに、
環境の走行車線内に存在する、前記環境内で自律モードで動作するように構成された車両の少なくとも１つのセンサから前記環境を示す画像データを受け取るステップと、
前記走行車線を示す前記環境内の道路の所定のイメージマップを前記画像データ上に投影するステップを含む、前記画像データを前記所定のイメージマップと比較するステップと、
前記比較するステップと、前記所定のイメージマップによって示される前記走行車線の所定の特徴とに基づいて、前記画像データにおいて、前記走行車線の前記所定の特徴の少なくとも一部に対応する前記走行車線の特徴を含む画像データ部分を判定するステップと、
前記判定された前記画像データ部分を処理することにより、さらに、該判定された画像データ部分以外の画像データを含む残りの画像データ部分を処理しないことにより、前記走行車線内に物体が存在するかどうかを判定するステップと、
前記走行車線内に物体が存在するかどうかについての前記判定に基づいて、前記環境内で前記車両を前記自律モードで制御する命令を与えるステップと、
を含む機能を実行させる、
ことを特徴とする非一時的コンピュータ可読媒体。

【請求項13】

前記判定された画像データ部分は、前記画像データの第１の部分であり、
前記環境内の前記道路の前記所定のイメージマップは、前記環境の前記走行車線と異なる前記環境の第２の走行車線をさらに示し、前記命令は、前記コンピュータシステムに、
前記比較するステップに基づいて、前記環境の前記第２の走行車線に対応する、前記画像の第１のデータ部分とは異なる第２の画像データ部分を判定するステップと、
前記環境の前記第２の走行車線に対応する前記第２の画像データ部分を処理することにより、さらに、前記第２の走行車線に対応する前記第２の画像データの部分以外の画像データを含む第２の残りの画像データ部分を処理しないことにより、前記第２の走行車線内に物体が存在するかどうかを判定するステップと、
前記第２の走行車線内に物体が存在するかどうかについての前記判定に基づいて、前記環境内で前記車両を前記自律モードで制御する命令を与えるステップと、
を含む機能を実行させるように前記車両内の前記コンピュータシステムによってさらに実行可能である、
請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項14】

前記所定のイメージマップは、前記環境の前記第２の走行車線の位置又は前記環境の前記第２の走行車線の境界の少なくとも一方を示し、
前記所定のイメージマップを前記画像データと比較するステップは、
前記画像データを、（ｉ）前記所定のイメージマップによって示される前記環境の前記第２の走行車線の前記位置、又は（ｉｉ）前記所定のイメージマップによって示される前記環境の前記第２の走行車線の前記境界、の少なくとも一方と比較するステップをさらに含む、
請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

前記環境の前記第２の走行車線は、前記環境の前記走行車線に隣接する、
請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項16】

前記所定のイメージマップは、前記環境の前記走行車線の位置又は前記環境の前記走行車線の境界の少なくとも一方を示し、
前記所定のイメージマップを前記画像データと比較するステップは、
前記画像データを、（ｉ）前記所定のイメージマップによって示される前記環境の前記走行車線の前記位置、又は（ｉｉ）前記所定のイメージマップによって示される前記環境の前記走行車線の前記境界、の少なくとも一方と比較するステップをさらに含む、
請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記所定のイメージマップは、前記環境内における前記車両の進行方向を含む、
請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記所定の特徴は、前記走行車線の既知の車線境界を含む、
請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０１３年６月２４日に出願された米国特許出願第１３／９２５，７９５号に対する優先権を主張するものであり、この特許出願はその全体が引用により本明細書に組み入れられる。

【背景技術】

【0002】

本節で説明する内容は、本明細書で別途指示がない限り、本出願の特許請求の範囲に対する先行技術ではなく、また本節に含めることによって先行技術であると認めるものでもない。

【0003】

車両は、ドライバーからの入力をほとんど又は全く伴わずに環境内を運転する自律モードで動作するように構成することができる。このような自律走行車両は、車両が動作する環境に関する情報を検出するように構成された１又はそれ以上のセンサを含むことができる。車両及びその関連するコンピュータ実装コントローラは、検出された情報を用いて環境内を運転する。例えば、（単複の）センサが、コンピュータ実装コントローラによって判定された障害物に車両が接近中であることを検出した場合、コントローラは、車両が障害物を避けて運転するように車両の方向制御を調整する。

【発明の概要】

【課題を解決するための手段】

【0004】

いくつかの例では、自律走行車両の環境の既知の環境情報に基づく物体検出方法及びシステムを提供する。

【0005】

第１の態様では、方法を提供する。この方法は、車両の少なくとも１つのセンサから、プロセッサを用いて環境を示す画像データ受け取るステップを含む。車両は、自律モードで動作するように構成することができ、実質的に環境の走行車線内に存在することができる。方法は、環境の走行車線に対応する画像データ部分を判定するように、走行車線を示す環境情報を画像データと比較するステップも含む。方法は、環境の走行車線に対応する画像データ部分に基づき、残りの画像データ部分を無視することにより、走行車線内に物体が存在するかどうかを判定するステップをさらに含む。残りの画像データ部分は、走行車線に対応する画像データ部分以外の画像データを含むことができる。方法は、判定に基づいて、環境内で車両を自律モードで制御する命令を与えるステップをさらに含む。

【0006】

第２の態様では、車両を提供する。この車両は、環境を示す画像データを受け取るように構成されたセンサを含む。車両は、自律モードで動作するように構成することができ、実質的に環境の走行車線内に存在することができる。車両は、コンピュータシステムも含む。コンピュータシステムは、環境の走行車線に対応する画像データ部分を判定するように、走行車線を示す環境情報を画像データと比較するように構成することができる。コンピュータシステムは、環境の走行車線に対応する画像データ部分に基づき、残りの画像データ部分を無視することにより、走行車線内に物体が存在するかどうかを判定するように構成することもできる。残りの画像データ部分は、走行車線に対応する画像データ部分以外の画像データを含むことができる。コンピュータシステムは、判定に基づいて、環境内で車両を自律モードで制御する命令を与えるようにさらに構成することができる。

【0007】

第３の態様では、車両内のコンピュータシステムによって実行された時にコンピュータシステムに機能を実行させる命令を記憶した非一時的コンピュータ可読媒体を開示する。この機能は、車両の少なくとも１つのセンサから環境を示す画像データ受け取るステップを含む。車両は、自律モードで動作するように構成することができ、実質的に環境の走行車線内に存在することができる。機能は、環境の走行車線に対応する画像データ部分を判定するように、走行車線を示す環境情報を画像データと比較するステップも含む。機能は、環境の走行車線に対応する画像データ部分のみに基づき、残りの画像データ部分を無視することにより、走行車線内に物体が存在するかどうかを判定するステップをさらに含む。残りの画像データ部分は、走行車線に対応する画像データ部分以外の画像データを含むことができる。機能は、判定に基づいて、環境内で車両を自律モードで制御する命令を与えるステップをさらに含む。

【0008】

第４の態様では、システムを開示する。このシステムは、車両の少なくとも１つのセンサから環境を示す画像データを受け取る手段を含む。車両は、自律モードで動作するように構成することができ、実質的に環境の走行車線内に存在することができる。システムは、環境の走行車線に対応する画像データ部分を判定するように、走行車線を示す環境情報を画像データと比較する手段も含む。システムは、環境の走行車線に対応する画像データ部分に基づき、残りの画像データ部分を無視することにより、走行車線内に物体が存在するかどうかを判定する手段をさらに含む。残りの画像データ部分は、走行車線に対応する画像データ部分以外の画像データを含むことができる。システムは、判定に基づいて、環境内で車両を自律モードで制御する命令を与える手段をさらに含む。

【0009】

上記の概要は例示にすぎず、決して限定を意図するものではない。図及び以下の詳細な説明を参照することにより、上述の例示的な態様、実施形態及び特徴に加えてさらなる態様、実施形態及び特徴が明らかになるであろう。

【図面の簡単な説明】

【0010】

【図1】実施形態例による車両を示す機能ブロック図である。

【図2】実施形態例による車両を示す図である。

【図3A】実施形態例による方法のブロック図である。

【図3B】実施形態例による別の方法のブロック図である。

【図4A】実施形態例による、環境内で動作する自律走行車両の上面図である。

【図4B】実施形態例による、図４Ａの自律走行車両によって取得された画像データ例の概略図である。

【図4C】実施形態例による、図４Ａの自律走行車両によって取得された環境情報例の概略図である。

【図4D】実施形態例による、図４Ｃの環境情報例を図４Ｂの画像データと比較した概略図である。

【図4E】実施形態例による、３次元（３Ｄ）環境情報の例を３Ｄ画像データの例と比較した概略図である。

【図5】実施形態例によるコンピュータプログラム製品の概略図である。

【発明を実施するための形態】

【0011】

本明細書では、方法及びシステムの例について説明する。本明細書で説明するあらゆる実施形態又は特徴の例は、必ずしも他の実施形態又は特徴よりも好ましいもの又は有利なものとして解釈すべきではない。本明細書で説明する実施形態例は、限定を意図するものではない。開示するシステム及び方法のいくつかの態様は、様々な異なる構成での配置及び組み合わせが可能であり、本明細書ではこれらの全てが想定されていると容易に理解されるであろう。

【0012】

さらに、図に示す特定の構成を限定と見なすべきではない。他の実施形態は、所与の図に示す各要素よりも多くの又は少ない要素を含むことができると理解されたい。さらに、図示の要素の一部を組み合わせ、又は省略することもできる。さらに、実施形態例は、図に示していない要素を含むこともできる。

【0013】

自律モードで動作する車両では、車両の現在の車線内の物体の存在を認知又は認識することが有用となり得る。一般に、自律走行車両は、物体の存在を検出するために、ＬＩＤＡＲ及びＲＡＤＡＲを含む様々なセンサを利用して、車両が動作している環境を定期的に走査することができる。また、カメラが物体を遠距離から観察するように構成されており、金属物体と非金属物体を区別しないように構成できる時には、カメラを用いて物体の存在を検出することが望ましい場合もある。カメラは、ＬＩＤＡＲ及びＲＡＤＡＲと同様に、車両が動作している環境を定期的に走査し、画像データを取得し、画像データを処理して異物の存在を判定することができる。しかしながら、画像データの処理は計算コストが高く、画像ノイズを生じがちである。

【0014】

いくつかの例では、環境のデータ（例えば、イメージマップ）を受け取り、これを利用して画像処理を容易にするように構成された自律走行車両を提供する。本明細書では、車両の環境を表す画像データ及びイメージマップを処理して物体の存在をより効率的かつ正確に検出する自律走行車両に関する方法及びシステムを開示する。開示する実施形態は、車両が動作している環境内の特定の車線の画像データを取り込むように構成できる自律走行車両に関する。画像データは、車両が動作している特定の車線に関する情報を含む、車両が動作している環境に関する情報を含むことができる。車両は、この情報を用いて、例えば無関係な範囲を無視し、特定の車線を表す画像データ部分に注目することにより、関連する範囲内の物体を検出することができる。

【0015】

あるシナリオ例では、自律走行車両が、道路上の特定の車線内を走行中に、車両に結合されたカメラを用いて画像を取得することができる。このようなシナリオでは、車両の進行を妨げる恐れのあるあらゆる障害物（例えば、発炎筒、コーン、他の車両など）が車両にとって重要なものである可能性があり、従って車両は、理想的には特定の走行車線内に存在するあらゆるこのような物体を効率的かつ正確に検出したいと望む。車両は、これらの物体を検出するために、車両が走行している環境を定める又は示すイメージマップ（このシナリオでは、道路の詳細を定めて提供するイメージマップ）を求めることができる。車両は、道路のマップを用いて、（例えば、イメージマップを画像データと比較し、車線範囲を判定し、取り込んだ画像データに車線範囲を投影することにより）車両が動作している道路上の特定の車線を表す画像データ部分を判定することができる。車両は、判定された画像データ部分を処理して物体又はその他の物の存在を検出することができる。車両は、残りの画像データ部分を無視することができる。

【0016】

本明細書で説明する方法及びシステムを利用すれば、自律走行車両における画像処理作業が容易になり、場合によっては一般的なカメラ処理法に存在し得る問題の一部を回避することができる。

【0017】

以下、システム例についてさらに詳細に説明する。一般に、システム例はコンピュータ装置に実装することができ、或いはコンピュータ装置の形を取ることができる。しかしながら、システム例は、他の装置に実装することも、又は他の装置の形を取ることも、或いは自動車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプタ、芝刈り機、レクリエーショナルビークル、遊園地の車両、農機具、建設機器、路面電車、ゴルフカート、列車及びトロリー車などの車両に含めることもできる。その他の車両も考えられる。

【0018】

図１は、ある実施形態例による車両１００を示す機能ブロック図である。車両１００は、完全に又は部分的に自律モードで動作するように構成され、従って「自律走行車両」と呼ぶことができる。例えば、コンピュータシステム１１２は、車両１００の制御システム１０６への制御命令を介して自律モード中の車両１００を制御することができる。コンピュータシステム１１２は、センサシステム１０４から情報を受け取り、（検出された障害物を避けるように進行方向を設定することなどの）１又はそれ以上の制御プロセスが、受け取った情報に自動的に基づくようにすることができる。

【0019】

車両１００は、完全自律型又は部分的自律型とすることができる。部分的自律型の車両では、任意にいくつかの機能を時々又は常に（例えば、ドライバーによって）手動で制御することができる。さらに、部分的自律型の車両は、完全手動操作モードと、部分的自律操作モード及び／又は完全自律操作モードとの間で切り替わるように構成することができる。

【0020】

車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１又はそれ以上の周辺機器１０８、並びに電源１１０、コンピュータシステム１１２及びユーザインターフェイス１１６などの様々なサブシステムを含むことができる。車両１００は、さらに多くの又は少ないサブシステムを含むこともでき、各サブシステムは複数の要素を含むことができる。さらに、各サブシステムと車両１００の要素とを相互接続することもできる。従って、説明する車両１００の機能の１つ又はそれ以上は、さらなる機能的又は物理的コンポーネントに分割することも、或いはより少ない機能的又は物理的コンポーネントに組み合わせることもできる。いくつかのさらなる例では、図１に示す例にさらなる機能的及び／又は物理的コンポーネントを追加することができる。

【0021】

推進システム１０２は、車両１００に動力的な動きを与えるコンポーネントを含むことができる。この実施形態によれば、推進システム１０２は、エンジン／モータ１１８と、エネルギー源１１９と、トランスミッション１２０と、ホイール／タイヤ１２１とを含むことができる。エンジン／モータ１１８は、内燃機関、電気モータ、蒸気機関、スターリングエンジン、又はその他のタイプのエンジン及び／又はモータのいずれかの組み合わせとすることができる。いくつかの実施形態では、推進システム１０２が、複数のタイプのエンジン及び／又はモータを含むことができる。例えば、ガソリン電気ハイブリッド車両は、ガソリンエンジンと電気モータを含むことができる。他の例も考えられる。

【0022】

エネルギー源１１９は、エンジン／モータ１１８に完全に又は部分的に動力を与えることができるエネルギー源を表すことができる。すなわち、エンジン／モータ１１８は、エネルギー源１１９を機械エネルギーに変換してトランスミッション１２０を動作させるように構成することができる。エネルギー源１１９の例としては、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガス系燃料、エタノール、太陽電池パネル、バッテリ、コンデンサ、フライホイール、回生ブレーキシステム及び／又はその他の電気エネルギー供給源などを挙げることができる。エネルギー源１１９は、自動車１００の他のシステムにエネルギーを供給することもできる。

【0023】

トランスミッション１２０は、エンジン／モータ１１８からホイール／タイヤ１２１に機械力を伝える要素を含むことができる。このような要素としては、ギアボックス、クラッチ、ディファレンシャル、ドライブシャフト及び／又は（単複の）車軸などを挙げることができる。トランスミッション１２０は、他の要素を含むこともできる。ドライブシャフトは、１又はそれ以上のホイール／タイヤ１２１に結合できる１又はそれ以上の車軸を含むことができる。

【0024】

ホイール／タイヤ１２１は、車両１００を安定して支持すると同時に、車両１００が移動する道路などの路面との摩擦牽引力をもたらすように配置することができる。従って、車両１００のホイール／タイヤ１２１は、一輪車、自転車／オートバイ、三輪車、又は自動車／トラックの四輪形式を含む様々な形式で構成することができる。６又はそれ以上のホイールを含むような他のホイール／タイヤ形状も可能である。車両１００のホイール／タイヤ１２１のいずれかの組み合わせは、他のホイール／タイヤ１２１に対して差動的に回転することができる。ホイール／タイヤ１２１は、トランスミッション１２０に固定して取り付けられた少なくとも１つのホイールと、ホイールのリムに結合された、走行路面に接することができる少なくとも１つのタイヤとを表すことができる。ホイール／タイヤ１２１は、金属とゴムのいずれかの組み合わせ、又は材料の別の組み合わせを含むことができる。

【0025】

一般に、センサシステム１０４は、車両１００を取り巻く環境に関する情報を検出するように構成された１又はそれ以上のセンサを含む。例えば、センサシステム１０４は、全地球測位システム（ＧＰＳ）１２２、慣性測定装置（ＩＭＵ）１２４、ＲＡＤＡＲユニット１２６、レーザー距離計／ＬＩＤＡＲユニット１２８、カメラ１３０及び／又はマイク１３１を含むことができる。センサシステム１０４は、車両１００の内部システム（例えば、Ｏ２モニタ、燃料計、エンジンオイル温度、ホイール速度センサなど）をモニタするように構成されたセンサを含むこともできる。センサシステム１０４に含まれるセンサの１つ又はそれ以上は、１又はそれ以上のセンサの位置及び／又は配向を修正するために個別に及び／又は集合的に作動するように構成することができる。

【0026】

ＧＰＳ１２２は、車両１００の地理的位置を推定するように構成されたいずれかのセンサとすることができる。この目的のために、ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するトランシーバを含むことができる。

【0027】

ＩＭＵ１２４は、慣性加速に基づいて車両１００の位置及び配向の変化を検知するように構成されたセンサ（例えば、加速度計及びジャイロスコープ）のいずれかの組み合わせを含むことができる。

【0028】

ＲＡＤＡＲユニット１２６は、無線信号を利用して車両１００の局所環境内の物体を検知するシステムを表すことができる。いくつかの実施形態では、ＲＡＤＡＲユニット１２６を、物体を検知するだけでなく物体の速度及び／又は進行方向を検知するように構成することもできる。

【0029】

同様に、レーザー距離計又はＬＩＤＡＲユニット１２８は、車両１００が存在する環境内の物体を、レーザーを用いて検知するように構成されたいずれかのセンサとすることができる。実施形態によっては、レーザー距離計／ＬＩＤＡＲユニット１２８が、他のシステムコンポーネントの中でも特に、１又はそれ以上のレーザー光源、レーザースキャナ、及び１又はそれ以上の検出器を含むことができる。レーザー距離計／ＬＩＤＡＲユニット１２８は、（例えば、ヘテロダイン検波を用いた）コヒーレント検出モード又はインコヒーレント検出モードで動作するように構成することができる。

【0030】

カメラ１３０は、車両１００を取り巻く環境の複数の画像を取り込むように構成された１又はそれ以上の装置を含むことができる。カメラ１３０は、静止カメラ又はビデオカメラとすることができる。いくつかの実施形態では、カメラが取り付けられたプラットフォームを回転及び／又は傾斜させることなどにより、カメラ１３０を機械的に移動可能とすることができる。従って、車両１００の制御プロセスは、カメラ１３０の動きを制御するように実装することができる。

【0031】

センサシステム１０４は、マイク１３１を含むこともできる。マイク１３１は、車両１００を取り巻く環境からの音を取り込むように構成することができる。いくつかの例では、複数のマイクをマイクアレイとして、又は場合によっては複数のマイクアレイとして配置することができる。

【0032】

制御システム１０６は、車両１００及びそのコンポーネントの（単複の）動作を制御するように構成することができる。従って、制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキ装置１３６、センサフュージョンアルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／パッシングシステム１４２、及び障害物回避システム１４４などを含む様々な要素を含むことができる。

【0033】

ステアリングユニット１３２は、車両１００の進行方向を調整できる機構のいずれかの組み合わせを表すことができる。例えば、ステアリングユニット１３２は、１又はそれ以上のホイール／タイヤ１２１の（１又は複数の）軸を、車両１００を旋回させるように調整することができる。スロットル１３４は、例えばエンジン／モータ１１８の動作速度を制御し、ひいては車両１００の速度を制御するように構成することができる。ブレーキ装置１３６は、車両１００を減速させるように構成された機構のいずれかの組み合わせを含むことができる。ブレーキ装置１３６は、例えば摩擦を用いてホイール／タイヤ１２１を減速させることができる。他の実施形態では、ブレーキ装置１３６が、ホイール／タイヤ１２１の運動エネルギーを電流に変換する回生制動プロセスによってホイール／タイヤ１２１を誘導的に減速させる。ブレーキ装置１３６は、他の形態を取ることもできる。

【0034】

センサフュージョンアルゴリズム１３８は、センサシステム１０４からのデータを入力として受け付けるように構成されたアルゴリズム（又はアルゴリズムを記憶するコンピュータプログラム製品）とすることができる。このデータは、例えばセンサシステム１０４のセンサにおいて検知された情報を表すデータを含むことができる。センサフュージョンアルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク又はその他のアルゴリズムを含むことができる。センサフュージョンアルゴリズム１３８は、センサシステム１０４からのデータに基づいて様々な評価を提供することができる。実施形態にもよるが、これらの評価としては、車両１００の環境内の個々の物体及び／又は特徴の評価、特定の状況の評価、及び／又は特定の状況に基づく衝突可能性の評価を挙げることができる。他の評価も可能である。

【0035】

コンピュータビジョンシステム１４０は、交通信号、車道境界、他の車両、歩行者及び／又は障害物などを含むことができる車両１００の環境内の物体及び／又は特徴を識別するために、カメラ１３０によって取り込まれた画像を処理して分析するいずれかのシステムとすることができる。コンピュータビジョンシステム１４０は、物体認識アルゴリズム、動画像解析（ＳＦＭ）アルゴリズム、ビデオ追跡及びその他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステム１４０を、環境マップの作成、物体の追跡、物体の速度推定などを行うようにさらに構成することができる。

【0036】

ナビゲーション及びパッシングシステム１４２は、車両１００の走行路を決定するように構成されたいずれかのシステムとすることができる。例えば、ナビゲーション／パッシングシステム１４２は、例えばユーザインターフェイス１１６を介したユーザ入力に従って設定できる最終目的地に至る車道に基づく経路に沿って車両１００を大まかに前進させながら、認識された障害物を実質的に避ける経路に沿って車両１００を動かすように一連の速度及び進行方向を決定することができる。また、ナビゲーション及びパッシングシステム１４２は、車両１００の動作中に走行路を動的に更新するように構成することもできる。いくつかの実施形態では、ナビゲーション及びパッシングシステム１４２を、車両１００の走行路を決定するために、センサフュージョンアルゴリズム１３８、ＧＰＳ１２２及び１又はそれ以上の所定のマップからデータを取り込むように構成することができる。

【0037】

障害物回避システム１４４は、車両１００の環境内の潜在的障害物を識別し、評価し、回避又は別様に通り抜けるように構成された制御システムを表すことができる。例えば、障害物回避システム１４４は、制御システム１０６内の１又はそれ以上のサブシステムを、急ハンドル操作、旋回操作、ブレーキ操作などを行うように動作させることにより、車両１００のナビゲーションに変化をもたらすことができる。いくつかの実施形態では、障害物回避システム１４４が、周囲の交通パターン、道路状況などに基づいて、実行可能な（「利用可能な」）障害物回避操作を自動的に決定するように構成される。例えば、障害物回避システム１４４は、急ハンドル操作を行う予定の車両１００に隣接する領域内の車両、工事用障壁、他の障害物などが他のセンサシステムによって検出された時には、急ハンドル操作が行われないように構成することができる。いくつかの実施形態では、障害物回避システム１４４が、車両の乗員の安全を最大化する利用可能な操作を自動的に選択することができる。例えば、障害物回避システム１４４は、車両１００の客室内に生じる加速量が最も少ないと予測される回避操作を選択することができる。

【0038】

これに加えて、又はこれとは別に、制御システム１０６は、図示し説明する以外のコンポーネントを含むこともできる。

【0039】

車両１００は、車両１００と、外部センサ、他の車両、他のコンピュータシステム、及び／又は車両１００の乗員などのユーザとの間の相互作用を可能にするように構成された周辺機器１０８も含む。例えば、乗員、外部システムなどから情報を受け取るための周辺機器１０８は、無線通信システム１４６、タッチスクリーン１４８、マイク１５０及び／又はスピーカ１５２を含むことができる。

【0040】

いくつかの実施形態では、周辺機器１０８が、車両１００のユーザがユーザインターフェイス１１６と相互作用した入力を受け取るように機能する。この目的のために、タッチスクリーン１４８は、車両１００のユーザに情報を提供するとともに、タッチスクリーン１４８を介して示されたユーザからの情報をユーザインターフェイス１１６に伝えることができる。タッチスクリーン１４８は、容量性検知、抵抗検知、光学検知、表面音響波処理などを介して、ユーザの指（又はスタイラスなど）によるタッチ位置及びタッチジェスチャーの両方を検知するように構成することができる。タッチスクリーン１４８は、タッチスクリーンの表面に対して平行又は平面的な方向、タッチスクリーンの表面に対して垂直な方向、又はこれらの両方向の指の動きを検知することができ、またタッチスクリーンの表面に加わる圧力レベルを検知することもできる。車両１００の乗員は、音声コマンドインターフェイスを利用することもできる。例えば、マイク１５０を、車両１００の乗員からの音声（例えば、音声コマンド又はその他の音声入力）を受け取るように構成することができる。同様に、スピーカ１５２を、車両１００の乗員に音声を出力するように構成することもできる。

【0041】

いくつかの実施形態では、周辺機器１０８が、車両１００と、その周囲環境内の装置、センサ、他の車両など、及び／又は車両１００から物理的に離れて位置する、車両の周囲環境に関する交通情報、気象情報などの有用な情報を提供するコントローラ、サーバなどの外部システムとの間の通信を可能にするように機能する。例えば、無線通信システム１４６は、１又はそれ以上の装置と直接又は通信ネットワークを介して無線で通信することができる。任意に、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、及び／又はＷｉＭａｘ又はＬＴＥなどの４Ｇセルラ通信を使用することができる。これに加えて、又はこれとは別に、無線通信システム１４６は、例えばＷｉＦｉを用いて無線ローカルエリアネットワーク（ＷＬＡＮ）と通信することもできる。いくつかの実施形態では、無線通信システム１４６が、例えば赤外線リンク、Ｂｌｕｅｔｏｏｔｈ及び／又はＺｉｇＢｅｅなどを用いて装置と直接通信することができる。無線通信システム１４６は、車両間及び／又は道路沿いの局間の公共及び／又は民間データ通信を含むことができる１又はそれ以上の専用短距離通信（ＤＳＲＣ）装置を含むこともできる。また、本開示の文脈では、無線通信システム１４６により、様々な車両通信システムなどの、信号に埋め込まれた情報を送受信するための他の無線プロトコルを使用することもできる。

【0042】

電源１１０は、周辺機器１０８、コンピュータシステム１１２、センサシステム１０４の電子部品などの車両１００のコンポーネントに電力を供給することができる。電源１１０は、電気エネルギーを蓄積して例えば様々な電動式コンポーネントに放出する充電式リチウムイオンバッテリ又は鉛酸バッテリを含むことができる。いくつかの実施形態では、１又はそれ以上の一連のバッテリを、電力を供給するように構成することができる。いくつかの実施形態では、一部の全電化自動車と同様に、電源１１０とエネルギー源１１９を共に実装することができる。

【0043】

車両１００の機能の多く又は全ては、センサシステム１０４、周辺機器１０８などから入力を受け取り、環境に基づく車両１００の自動操作を行うのに適した制御信号を推進システム１０２、制御システム１０６、周辺機器１０８などに通信するコンピュータシステム１１２を介して制御することができる。コンピュータシステム１１２は、データストレージ１１４などの非一時的コンピュータ可読媒体に記憶された命令１１５を実行する（少なくとも１つのマイクロプロセッサを含むことができる）少なくとも１つのプロセッサ１１３を含むことができる。コンピュータシステム１１２は、車両１００の個々のコンポーネント又はサブシステムを分散方式で制御する複数のコンピュータ装置を表すこともできる。

【0044】

いくつかの実施形態では、データストレージ１１４が、図１に関連して上述したものを含む様々な自動車機能を実行するようにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含むことができる。データストレージ１１４は、推進システム１０２、センサシステム１０４、制御システム１０６及び周辺機器１０８のうちの１つ又はそれ以上との間でデータの送受信を行い、これらと相互作用し、及び／又はこれらを制御する命令を含むさらなる命令を含むこともできる。

【0045】

データストレージ１１４は、命令１１５に加え、他の情報の中でも特に、道路マップ、経路情報などのデータを記憶することができる。このような情報は、車両１００の自律モード、半自律モード及び／又は手動モードでの動作中に、車両１００及びコンピュータシステム１１２によって使用することができる。

【0046】

車両１００及び関連するコンピュータシステム１１２は、車両１００の客室内の乗員などの車両１００のユーザに情報を提供し、及び／又はこれらのユーザから入力を受け取る。従って、車両１００は、車両１００のユーザに情報を提供し、又はこれらのユーザから入力を受け取るためのユーザインターフェイス１１６を含むことができる。ユーザインターフェイス１１６は、タッチスクリーン１４８上に表示できる相互作用イメージの内容及び／又はレイアウトを制御し、又はこれらの制御を可能にすることができる。さらに、ユーザインターフェイス１１６は、無線通信システム１４６、タッチスクリーン１４８、マイク１５０及びスピーカ１５２などの、一連の周辺機器１０８内の１又はそれ以上の入力／出力装置を含むこともできる。

【0047】

コンピュータシステム１１２は、車両状態及び／又は環境状態を示す様々なサブシステム（例えば、推進システム１０２、センサシステム１０４及び／又は制御システム１０６）から受け取った入力、並びにユーザ選択を示すユーザインターフェイス１１６からの入力に基づいて車両１００の動作を制御する。例えば、コンピュータシステム１１２は、制御システム１０６からの入力を利用して、センサシステム１０４及び障害物回避システム１４４によって検出された障害物を回避するようにステアリングユニット１３２を制御することができる。コンピュータシステム１１２は、車両１００及びそのサブシステムの多くの側面を制御するように構成することができる。しかしながら、一般に緊急時には、又は単にユーザが無効化を作動させたことに応答して、コントローラが作動させた自動動作を手動で無効にすることもできる。

【0048】

本明細書で説明した車両１００のコンポーネントは、これらのそれぞれのシステム内又はシステム外の他のコンポーネントと相互接続された形で機能するように構成することができる。例えば、カメラ１３０は、自律モードで動作中の車両１００の環境に関する情報を表す複数の画像を取り込むことができる。この環境は、他の車両、交通信号機、交通標識、路面表示、歩行者などを含むことができる。コンピュータビジョンシステム１４０は、予めデータストレージ１１４に記憶されている物体認識モデルに基づき、及び／又は他の技術により、センサフュージョンアルゴリズム１３８、コンピュータシステム１１２などと協働して、環境内の様々な側面を分類及び／又は認識することができる。

【0049】

図１には、車両１００の様々なコンポーネント、すなわち無線通信システム１４６、コンピュータシステム１１２、データストレージ１１４及びユーザインターフェイス１１６を車両１００に一体化されたものとして示しているが、これらのコンポーネントの１つ又はそれ以上を車両１００から分離して取り付け又は関連付けることもできる。例えば、データストレージ１１４は、部分的に又は完全に車両１００から離れて存在することができる。従って、車両１００は、離れて存在できる装置要素の形で提供することも、或いは共に存在できる装置要素の形で提供することもできる。一般に、車両１００を構成する装置要素は、共に有線及び／又は無線で通信可能に結合することができる。

【0050】

図２に、図１を参照しながら車両１００に関連して説明した機能の全て又はほとんどを含むことができる車両例２００を示す。図２では、例示を目的として車両例２００を四輪セダン型の車として示しているが、本開示はこのように限定されるものではない。例えば、車両例２００は、本明細書で言及したあらゆるタイプの車両を表すことができる。

【0051】

車両例２００は、センサユニット２０２、無線通信システム２０４、ＬＩＤＡＲユニット２０６、レーザー距離計ユニット２０８、及びカメラ２１０を含む。さらに、車両例２００は、図１の車両１００に関連して説明したあらゆるコンポーネントを含むことができる。

【0052】

センサユニット２０２は、車両例２００の頂部に取り付けられ、車両例２００を取り巻く環境に関する情報を検出してその指標を出力するように構成された１又はそれ以上のセンサを含む。例えば、センサユニット２０２は、カメラ、ＲＡＤＡＲ、ＬＩＤＡＲ、距離計及び音響センサのいずれかの組み合わせを含むことができる。センサユニット２０２は、センサユニット２０２内の１又はそれ以上のセンサの配向を調整することができる１又はそれ以上の可動マウントを含むことができる。１つの実施形態では、可動マウントが、車両例２００の周囲の各方向からの情報を取得するようにセンサを走査できる回転式プラットフォームを含むことができる。別の実施形態では、センサユニット２０２の可動マウントを、特定の角度範囲及び／又は方位角範囲内を走査する形で可動とすることができる。例えば、センサユニット２０２は、車の屋根上に取り付けることができるが、他の取り付け位置も可能である。また、センサユニット２０２のセンサは、異なる位置に分散させることもでき、１つの位置に共同配置する必要はない。いくつかの考えられるセンサタイプ及び取り付け位置としては、ＬＩＤＡＲユニット２０６及びレーザー距離計ユニット２０８が挙げられる。さらに、センサユニット２０２の各センサは、センサユニット２０２の他のセンサとは無関係に移動又は走査するように構成することができる。

【0053】

無線通信システム２０４は、図２に示すように車両例２００の屋根上に位置することができる。或いは、無線通信システム２０４は、完全に又は部分的に他の場所に位置することもできる。無線通信システム２０４は、車両例２００の外部又は内部の装置と通信するように構成できる無線送信機及び受信機を含むことができる。具体的には、無線通信システム２０４は、他の車両、及び／又は、例えば車両通信システム又は道路の局内のコンピュータ装置と通信するように構成されたトランシーバを含むことができる。このような車両通信システムの例としては、専用短距離通信（ＤＳＲＣ）、無線自動識別（ＲＦＩＤ）、及びインテリジェント移送システムのための他の提案する通信標準が挙げられる。

【0054】

カメラ２１０は、車両例２００の環境の複数の画像を取り込むように構成された、静止カメラ、ビデオカメラなどの感光機器とすることができる。この目的のために、カメラ２１０は、可視光を検出するように構成することができ、これに加えて、又はこれとは別に、スペクトルの他の部分からの赤外線又は紫外線などの光を検出するように構成することもできる。カメラ２１０は、２次元検出器とすることができ、任意に３次元空間の感度範囲を有することもできる。いくつかの実施形態では、カメラ２１０が、例えばカメラ２１０から環境内の複数の地点までの距離を示す２次元画像を生成するように構成された範囲検出器を含むことができる。この目的のために、カメラ２１０は、１又はそれ以上の範囲検出技術を使用することができる。

【0055】

例えば、カメラ２１０は、車両例２００がグリッドパターン又は格子パターンなどの所定の光パターンで環境内の物体を照明し、カメラ２１０を用いて環境周囲からの所定の光パターンの反射を検出する構造光技術を使用することによって範囲情報を提供することができる。車両例２００は、反射された光パターンの歪みに基づいて、物体上の点までの距離を判定することができる。この所定の光パターンは、赤外光又はこのような測定に適した他の波長の放射線を含むことができる。

【0056】

カメラ２１０は、車両例２００のフロントガラスの内側に取り付けることができる。具体的には、カメラ２１０は、車両例２００の配向に対して前向きの視野からの画像を取り込むように位置することができる。車両例２００の内部又は外部の、カメラ２１０の他の取り付け位置及び視野角を使用することもできる。

【0057】

カメラ２１０は、調整可能な視野を提供する関連する光学素子を有することができる。さらに、カメラ２１０は、パン／チルト機構などを通じてカメラ２１０の指示角を変化させるように、可動マウントを用いて車両例２００に取り付けることができる。

【0058】

図３Ａに、既知の環境情報を用いて画像処理を通じて物体検出を容易にする方法３００を示す。この方法で説明する車両は、図１及び図２を参照しながらそれぞれ図示し説明したような車両１００及び／又は車両２００とすることができる。例えば、本明細書で説明する処理は、コンピュータシステム１１２、センサフュージョンアルゴリズム１３８及び／又はコンピュータビジョンシステム１４０と通信する、自律走行車両（例えば、車両２００）に取り付けられたカメラ１３０によって実行することができる。

【0059】

さらに、本明細書で説明するフローチャートに関連して説明する機能は、特殊機能ハードウェアモジュール及び／又は構成済みの一般機能ハードウェアモジュール、特定の論理機能、決定、及び／又は図３に示すフローチャートに関連して説明するステップを実現するようにプロセッサ（例えば、コンピュータシステム１１２内のプロセッサ１１３）によって実行されるプログラムコードの一部として実装することができる。プログラムコードは、使用される場合、例えばディスク又はハードドライブを含む記憶装置などのあらゆるタイプのコンピュータ可読媒体（例えば、コンピュータ可読記憶媒体、或いはコンピュータシステム１１２に関して上述したデータストレージ１１４及び／又は後述するコンピュータプログラム製品５００などの非一時的媒体）に記憶することができる。

【0060】

また、図３Ａ（又は図３Ｂ）に示すフローチャートの各ブロックは、プロセス内の特定の論理関数を実行するように配線された回路を表すこともできる。別途示していない限り、図３Ａ〜図３Ｂに示すフローチャート内の機能は、説明する方法の全体的機能が維持されるのであれば、関連する機能に応じて、別々に説明する機能を実質的に同時に、又は実施例よっては逆の順序で実行することを含め、図示又は説明する順序とは異なる順序で実行することができる。さらに、同様のハードウェア要素及び／又はソフトウェア要素の組み合わせを用いて、図３Ｂに示す追加のフローチャートなどの、本開示において提供する他のフローチャートに関連して説明する方法を実施することもできる。

【0061】

まず、図３Ａの方法３００は、ブロック３０２において、実質的に環境の走行車線内で動作するように構成された車両のセンサから環境を示す画像データを受け取るステップを含む。この車両は、図１及び図２を参照して説明した車両とすることができ、環境内で自律モードで動作するように構成することができる。環境は、車両が走行車線内で自律的に動作することができるあらゆる環境とすることができる。このような環境のいくつかの例としては、幹線道路、道路又は州間高速道路を挙げることができる。１つの例では、図４Ａを参照して分かるように、道路４０２、流出オイル４０８、トラック４１０及びコーン４１２を含む環境４００内で車両４０４が動作していると考えることができる。環境４００では、車両が実質的に走行車線４０２ｂ内で動作中であり、流出オイル４０８、トラック４１０及びコーン４１２が実質的に車線４０２ａ内に存在すると考えることができる。

【0062】

環境４００の特徴は、恒久的及び非恒久的なものの両方とすることができる。例えば、流出オイル４０８、トラック４１０及びコーン４１２は非恒久的なものとすることができ、特定の時点（例えば、特定の日及び年）における環境４００の現状を表すことができる。これとは逆に、道路４０２及び車線４０２ａ、４０２ｂは、恒久的特徴とすることができる。換言すれば、道路４０２及び車線４０２ａ、４０２ｂは、環境４００の固定部分とすることができ、環境の恒久的変更（例えば、道路４０２の改築）が行われない限り環境４００内に存在することができる。環境４００には、他の恒久的及び非恒久的特徴が含まれることもある。

【0063】

車両は、環境内での動作中に、動作中の環境の現在の表現を示す画像データを受け取ることができる。例えば、車両４０４は、カメラ１３０と同様又は同一のカメラなどの、センサユニット４０６の少なくとも１つのセンサを動作させて、環境４００を示す画像データを受け取ることができる。図４Ｂに示す画像データ４２０は、環境４００の一部を示す画像データ例を表す。

【0064】

なお、図４Ｂでは、例えば車両４０４のセンサユニット４０６のカメラによって取り込まれた画像データ４２０は、破線矢印よりも上方に示す画像であり、車両４０４を含んでいない。車両４０４は、説明目的で示しているにすぎず、この例では画像データ４２０の一部であることを意図していない。実際には、画像データ４２０は、車両４０４から前方、後方、又はこれらの間のいずれかの段階で取得することができ、従って車両自体を表す画像データを含んでいないこともある。いくつかの例では、車両４０４の一部が画像データ４２０に含まれる場合もある。

【0065】

画像データ４２０は、環境４００を示すデジタル写真又はデジタル図形を含むことができる。画像データ４２０は、写真画像及び／又はグラフィック画像をデジタルファイルとして構造化して記憶できるあらゆるデータフォーマットを含むことができ、様々なタイプのデータを含むことができ、様々なファイルフォーマットとすることができ、様々な媒体に記憶することができ、これらのタイプのデータ、ファイルフォーマット及び媒体が既知のものであるか、それとも未開発であるかは関係ない。図４Ｂに示す例では、画像データ４２０が、道路４０２、車線４０２ａ、４０２ｂ、流出オイル４０８、トラック４１０及びコーン４１２を含むことができる。画像データ４２０は、環境要素の各々を詳細に示す画像データを含むこともできる。例えば、画像データ４２０は、道路４０２の路面線、及び道路４０２を既定する他のいずれかの詳細（例えば、質感、色、照明など）を示すデータを含むことができる。他の例では、画像データ４２０が、環境４００の各要素に関連する位置情報を含むことができる。例えば、画像データ４２０は、トラック４１０及びコーン４１２の位置を示す位置情報を含むことができる。

【0066】

ブロック３０４は、走行車線を示す環境情報を画像データと比較して、走行車線に対応する画像データ部分を判定するステップを含む。環境情報は、画像データの取得前に車両が知っていた又は受け取っていた、環境の走行車線を正確に定めるいずれかの情報とすることができる。例えば図４Ａを参照すると、他の情報の中でも特に、環境情報は、走行車線４０２ａ、４０２ｂの境界を定めるイメージマップを含むことができる。環境情報は、他のいずれかの情報を含むこともできる。一般に、環境情報は、画像データを取得する前に環境４００内に存在する既知の構造、標識、又はその他の（恒久的及び非恒久的）特徴を示す情報を含むことができる。

【0067】

いくつかの例では、環境情報が正確なままであることを確実にするために、車両４０４が定期的に環境情報を取得することができる。他の例では、車両４０４が、サーバから定期的に環境情報を受け取ることができる。例えば、第三者団体が環境４００を継続的にモニタし、例えば構造的変化（例えば、上述した恒久的特徴の変更）が起きる可能性がある時に最新情報を提供することができる。この最新情報は、例えば最新のイメージマップの形で提供することができる。他の最新情報を提供することもできる。

【0068】

図４Ｃに、環境４００を示すイメージマップ４４０の例を示す。図４Ｃでは、イメージマップ４４０が、道路４０２の位置（例えば、経度及び緯度、又は基本方位）、車線４０２ａ、４０２ｂの位置、道路４０２の境界４４４ａ、及び各車線４０２ａ、４０２ｂの境界４４４ｂ、４４４ａを含むことができる。イメージマップ４４０は、車線４０２ａ及び４０２ｂを分離する道路４０２の中央境界４４６を含むこともできる。イメージマップ内には、他の情報が含まれることもある。図４Ｃに示すイメージマップ４４０の例では、イメージマップを作成した時点では道路４０２上に恒久的構造又は非恒久的構造は存在しない。

【0069】

イメージマップ４４０からの情報を用いて、車両４０４が実質的に走行している走行車線、すなわちこの例では車線４０２ｂに対応する画像データ部分を判定することができる。走行車線に対応する画像データ部分は、取得したイメージマップを環境の画像データにマッピング（又は投影）し、イメージマップ内の走行車線に対応する位置情報を用いて画像データ内の対応する位置を判定することによって判定することができる。このマッピングは、既知の車両４０４の位置、及び画像データ４２０を取得したカメラ１３０の既知のカメラ変換を用いて行うことができる。換言すれば、道路４０２の位置などの情報を用いて、車線４０２ａ、４０２ｂの位置、道路４０２の境界４４４ａ、各車線４０２ａ、４０２ｂの境界４４４ａ、４４４ｂ、車線範囲及び車線境界線を画像データ４２０に投影することができる。他の例では、車両の進行方向に基づいて画像データ部分を判定することができる。多くの技術を用いてイメージマップから画像データに車線範囲を投影することができ、これらの技術は当業で周知である。

【0070】

図４Ｄに、イメージマップ４４０を重ね合わせて車線範囲を投影した画像データ４２０を示す。図４Ｄに示すように、イメージマップ４４０からの点線が画像データ４４０に投影されている。

【0071】

なお、例示を目的として、（画像データ４２０として取り込んだものであるか、それともイメージマップ４４０として取り込んだものであるかに関わらず）図４Ａ、図４Ｂ及び図４Ｄに示す環境４００については２次元ｘ−ｙ平面で説明している。しかしながら、車両４０４のセンサユニット４０６のカメラをｘ−ｙ平面から上下に調整することにより、さらに完全な３次元画像データを取得することもできる。さらに、例えば図４Ｅに示すように、環境４００を示すイメージマップを３次元とし、画像データ４２０上に３次元の形で投影することもできる。図４Ｅでは、図４Ｄと同様に、画像データ４６０に車線範囲４６２を投影することができる。

【0072】

車両は、この投影に基づいて、画像データのどの部分が走行車線を表しているかを判定することができる。例えば、車両４０４は、車両４０４が現在動作中の車線４０２ｂを画像データ４２０のどの部分が表しているかを判定することができる。このように画像データを処理することにより、車両４０４は、画像データの全てを処理するのではなく車線４０２ｂ内の流出オイル４０８の部分に注目することによって処理量を低減することができる。そうでなければ、車両４０４は、トラック４１０及びコーン４１２が車両４０４の進行方向とは無関係であり、或いは車両４０４の走行車線内に存在しないという事実にも関わらず、トラック４１０及びコーン４１２を処理してしまう可能性がある。
走行車線を表す画像データ部分が判定されると、方法３００は、ブロック３０６において、環境の走行車線に対応する画像データ部分に基づき、残りの画像データ部分を無視することにより、走行車線内に物体が存在するかどうかを判定するステップを含む。残りの画像データ部分は、走行車線に対応しないあらゆる画像データとすることができる。換言すれば、車両４０４は、走行車線に対応する画像データ部分のみを処理し、他のあらゆる画像データ部分を無視することができる。このように画像データを処理することにより、処理時間及び／又は処理の複雑性を大幅に低減することができる。物体は、車両の走行車線内のあらゆる物体とすることができるが、車両にとって未知のものとすることができる。いくつかの物体の例としては、障害物（例えば、コーン、残骸など）、他の車両、又は歩行者を挙げることができる。車両（又は車両のコンピュータ装置）は、検出を行うために、走行車線を表す画像データ部分内の既知の物体又は構造を示す画像データ部分を判定し、未知の構造を含む画像データ部分と比較することができる。

【0073】

例えば、図４Ｄに示すように、車両４０４は、走行車線４０２ｂの位置を識別すると、初期車線部分４６０を処理して車線の既知の構造を判定することができる。例えば、車両４０４は、この判定を行うために、初期車線部分４６０を処理して陰影、色、色強度などを判定し、その後に車線の残り部分を処理して、判定された属性を比較する（例えば、陰影の類似性を求める）ことができる。

【0074】

例えば、この比較は、既知の構造の色平均、色強度、影の存在、色強度のばらつき又は色のばらつきを含む１又はそれ以上の変数を、未知の物体の色平均、色強度、影の存在、色強度のばらつき又は色のばらつきのうちの１つ又はそれ以上と比較することを含むことができる。他の例では、他のいずれかの既知の又は標準的な画像処理特徴記述子を用いて既知の範囲を記述することができる。このような例として、コーナー検出子、エッジ検出子、ブロブ検出子、リッジ検出子、勾配検出子などを挙げることができる。実際には、既知の構造及び未知の構造を定める分布を計算し、この分布からこのような変数を判定して比較することができる。例えば、既知の構造の色強度を定める画素を表すガウス分布を計算し、画像データ内の未知の物体の色強度を定める画素を表すガウス分布と比較して画素の類似性を判断することができる。上述した変数を全て分布として定め、比較において使用することができる。

【0075】

いくつかの例では、既知の構造及び未知の物体の外観を示す情報が判定されると、例えばコンピュータシステム１１２などのコンピュータシステムを用いて自動的に比較を行うことができる。他の例では、車両の外部で比較を処理し、完了時に車両に提供することができる。

【0076】

判定が行われると、方法３００は、ブロック３０８において、判定に基づいて車両を自律モードで制御する命令を与えるステップを含む。例えば、車両の現在の車線内に停止している可能性のある障害物又は車両を回避するように車両を制御することができる。図４Ａ〜図４Ｃに示す例では、現在の走行車線４０２ｂ内に存在する流出オイル４０８の一部を安全に回避するように車両４０４を制御することができる。

【0077】

図３Ｂに、既知の環境情報を用いて画像処理を通じて物体検出を容易にする別の方法３２０を示す。まず、方法３２０は、ブロック３２２において、環境情報を画像データと比較して、第２の走行車線に対応する第２の画像データ部分を判定するステップを含む。第２の走行車線は、方法３００を参照しながら説明した走行車線と同様のものとすることもできるが、異なるものであってもよい。例えば、図４Ａを参照すると、環境４００は第２の走行車線を含むことができるが、第２の走行車線は走行車線４０２ａと異なることができる。例えば、第２の走行車線は、４０２ｂなどの、車線４０２ａに隣接する走行車線とすることができる。他の例では、第２の走行車線を道路４０２上の走行車線とすることができるが、元々の車線４０２から１車線又は２車線離れた車線とすることができる。

【0078】

方法３２０は、ブロック３２４において、比較に基づいて、第２の走行車線に対応する第２の画像データ部分を判定するステップを含む。第２の走行車線に対応する第２の画像データ部分は、方法３００を参照してステップ３０４において説明した方法と同じ方法で判定することができる。

【0079】

方法３２０は、ブロック３２６において、環境の第２の走行車線に対応する第２の画像データ部分に基づき、第２の残りの画像データ部分を無視することにより、第２の走行車線内に物体が存在するかどうかを判定するステップを含む。第２の残りの画像データ部分は、第２の走行車線に対応する第２の画像データ部分以外の画像データを含むことができる。このような判定は、方法３００を参照してステップ３０６において説明した方法と同じ方法で行うことができる。

【0080】

方法３２０は、ブロック３２８において、判定に基づいて環境内で車両を自律モードで制御する命令を与えるステップを含む。命令は、方法３００を参照してステップ３０８において説明した方法と同じ方法で与えることができ、同じ方法で車両を制御することができる。

【0081】

なお、上述した方法３００及び３２０では、「走行車線」内で動作する車両の行動に注目しているが、これはほんの一例にすぎない。上述した方法を用いて、車両が行っている可能性のある作業に関連する他の環境範囲に注目することもできる。例えば、他の用途では、車両が、歩道、路肩又は横断歩道上の物体を探すことや、或いは標識が見えると予想する場所にのみ関心を有している場合もある。従って、車両は、方法３００及び３２０を同様に用いて、環境内の他の関心範囲又は関心部分の物体を検出することができる。

【0082】

図３Ａの方法３００又は図３Ｂの方法３２０などの方法例は、車両及びそのサブシステムによって全体的又は部分的に実行することができる。従って、本明細書では、一例として方法例を車両に実装されるものとして説明することができた。しかしながら、方法例は、他のコンピュータ装置によって全体的又は部分的に実施することもできると理解されたい。例えば、方法例は、車両に関連する装置などの装置からデータを受け取るサーバシステムによって全体的又は部分的に実施することができる。方法例を実施できる他のコンピュータ装置例又はコンピュータ装置の組み合わせ例も考えられる。

【0083】

いくつかの実施形態では、本明細書で開示した技術を、非一時的コンピュータ可読記憶媒体に機械可読フォーマットで符号化された、又は他の非一時的媒体又は製造の物品に符号化されたコンピュータプログラム命令（例えば、車両１００のコンピュータシステム１１２のデータストレージ１１４に記憶された命令１１５）として実装することができる。図５は、本明細書で示した少なくともいくつかの実施形態に従って構成されたコンピュータ装置上でコンピュータ処理を実行するコンピュータプログラムを含むコンピュータプログラム製品例の部分的概念図を示す概略図である。

【0084】

１つの実施形態では、コンピュータプログラム製品例５００が、信号保持媒体５０２を用いて提供される。信号保持媒体５０２は、１又はそれ以上のプロセッサによって実行された時に本明細書で説明した機能又は機能の一部を提供できる１又はそれ以上のプログラム命令５０４を含むことができる。いくつかの例では、信号保持媒体５０２を、以下に限定されるわけではないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリなどの非一時的コンピュータ可読媒体５０６とすることができる。いくつかの実装では、信号保持媒体５０２が、以下に限定されるわけではないが、メモリ、読み取り／書込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどのコンピュータ記録可能媒体５０８を含むことができる。いくつかの実装では、信号保持媒体５０２が、以下に限定されるわけではないが、デジタル及び／又はアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）などの通信媒体５１０を含むことができる。従って、例えば、信号保持媒体５０２は、無線形態の通信媒体５１０によって伝えることができる。

【0085】

１又はそれ以上のプログラム命令５０４は、例えばコンピュータが実行可能な命令及び／又はロジックを実装する命令とすることができる。いくつかの例では、図１のコンピュータシステム１１２などのコンピュータ装置を、コンピュータ可読媒体５０６、コンピュータ記録可能媒体５０８及び／又は通信媒体５１０のうちの１つ又はそれ以上によってプログラム命令５０４がコンピュータシステム１１２に伝えられたことに応答して、様々な動作、機能又は行動を実行するように構成することができる。

【0086】

非一時的コンピュータ可読媒体は、互いに離れて存在することができる複数のデータストレージ要素間に分散させることもできる。記憶された命令の一部又は全部を実行するコンピュータ装置は、図２に示す車両例２００などの車両とすることができる。或いは、記憶された命令の一部又は全部を実行するコンピュータ装置は、サーバなどの別のコンピュータ装置とすることもできる。

【0087】

上記の詳細な説明では、開示するシステム及び方法の様々な特徴及び機能について添付図を参照しながら説明した。本明細書では様々な態様及び実施形態を開示したが、他の態様及び実施形態も可能である。本明細書で開示した様々な態様及び実施形態は、限定を意図するものではなく例示を目的とするものであり、その真の範囲は、以下の特許請求の範囲によって示される。

【符号の説明】

【0088】

３００：方法
３０２：実質的に環境の走行車線内で動作するように構成された車両のセンサから環境を示す画像データを受け取る
３０４：走行車線を示す環境情報を画像データと比較して、走行車線に対応する画像データ部分を判定
３０６：環境の走行車線に対応する画像データ部分に基づき、残りの画像データ部分を無視することにより、走行車線内に物体が存在するかどうかを判定
３０８：判定に基づいて車両を自律モードで制御する命令を与える

【図1】

【図3A】

【図3B】

【図4B】

【図4C】

【図4E】

【図5】

【図2】

【図4A】

【図4D】