特許 7080977 高速画像読み出しおよび処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-27

(45)【発行日】2022-06-06

(54)【発明の名称】高速画像読み出しおよび処理

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220530BHJP

   G08G 1/16 20060101ALI20220530BHJP

   G16Y 10/40 20200101ALI20220530BHJP

   G16Y 20/10 20200101ALI20220530BHJP

   G16Y 40/30 20200101ALI20220530BHJP

【ＦＩ】

H04N5/232 300

G08G1/16 A

G16Y10/40

G16Y20/10

G16Y40/30

【請求項の数】 20

(21)【出願番号】P 2020534966

(86)(22)【出願日】2018-12-11

(65)【公表番号】

(43)【公表日】2021-03-18

(86)【国際出願番号】 US2018064972

(87)【国際公開番号】W WO2019133246

(87)【国際公開日】2019-07-04

【審査請求日】2020-08-18

(31)【優先権主張番号】16/214,589

(32)【優先日】2018-12-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/612,294

(32)【優先日】2017-12-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ウェンデル，アンドリアス

(72)【発明者】

【氏名】ディットマー，ジェレミー

(72)【発明者】

【氏名】ハーマリン，ブレンダン

【審査官】西谷 憲人

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１９３３３８（ＵＳ，Ａ１）

【文献】特開２００２－０２７４４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２４４９６２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０３５２９８２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０３４８３８８（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１４５８１８（ＷＯ，Ａ１）

【文献】特開２０１０－１５４４７８（ＪＰ，Ａ）

【文献】特許第５９４８４６５（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０８Ｇ １／１６

Ｇ１６Ｙ １０／４０

Ｇ１６Ｙ ２０／１０

Ｇ１６Ｙ ４０／３０

(57)【特許請求の範囲】

【請求項1】

装置であって、
光学系であって、
複数のカメラセンサであって、前記複数のカメラセンサが、第１のカメラセンサおよび第２のカメラセンサを備える少なくとも１つのカメラセンサ対を含み、前記第１のカメラセンサおよび前記第２のカメラセンサは、少なくとも部分的に重複する視野を有し、前記第１のカメラセンサは、第１のダイナミックレンジを有し、前記第２のカメラセンサは、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジを有する、複数のカメラセンサと、
前記複数のカメラセンサに結合された複数の画像処理ユニットであって、前記複数の画像処理ユニットは、圧縮画像データを生成するように、前記複数のカメラセンサによって捕捉された前記画像データを圧縮するように構成され、前記第１のカメラセンサによって捕捉された画像データを圧縮するように構成された第１の画像処理ユニットと、前記第２のカメラセンサによって捕捉された画像データを圧縮するように構成された第２の画像処理ユニットと、を少なくとも含む、前記複数の画像処理ユニットと、を伴って構成されている、光学系と、
コンピューティングシステムであって、
前記圧縮画像データを格納するように構成されたメモリと、
前記圧縮画像データに基づいて車両を制御するように構成された車両制御プロセッサと、を伴って構成されている、コンピューティングシステムと、
前記光学系と前記コンピューティングシステムとの間で前記圧縮画像データを通信するように構成されたデータバスと、を備える、装置。

【請求項2】

前記データバスが、前記圧縮画像データの帯域幅以上の帯域幅を有し、前記帯域幅が、未処理の画像データの送信用の帯域幅よりも狭い、請求項１に記載の装置。

【請求項3】

前記複数のカメラセンサが、８つのカメラセンサ対を含み、前記８つのカメラセンサ対が、円環に配置されている、請求項１に記載の装置。

【請求項4】

前記円環が、回転するように構成される、請求項３に記載の装置。

【請求項5】

前記第１の画像処理ユニットおよび前記第２の画像処理ユニットが、前記第１のカメラセンサおよび前記第２のカメラセンサによって捕捉された前記画像データを並行して処理するように構成されている、請求項１に記載の装置。

【請求項6】

前記各画像処理ユニットが、複数の画像における１つ以上の画像の第１のセットを維持し、前記複数の画像における１つ以上の画像の第２のセットに関連する動きデータを抽出することにより、前記複数の画像を圧縮するように構成されている、請求項１に記載の装置。

【請求項7】

前記光学系が、前記車両のセンサドームに装着されている、請求項１に記載の装置。

【請求項8】

前記光学系が、前記車両のフロントガラスの背後に装着されている、請求項１に記載の装置。

【請求項9】

前記第１のダイナミックレンジは、輝度レベルの第１の範囲に対応し、前記第２のダイナミックレンジは、輝度レベルの第２の範囲に対応し、前記輝度レベルの第２の範囲が、前記輝度レベルの第１の範囲より高い輝度レベルを含む、請求項１に記載の装置。

【請求項10】

方法であって、
光学系の複数のカメラセンサに光を与えて画像データを生成することであって、前記複数のカメラセンサが、第１のカメラセンサおよび第２のカメラセンサを備える少なくとも１つのカメラセンサ対を含み、前記第１のカメラセンサおよび前記第２のカメラセンサは、少なくとも部分的に重複する視野を有し、前記第１のカメラセンサは、第１のダイナミックレンジを有し、前記第２のカメラセンサは、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジを有する、画像データを生成することと、
圧縮画像データを生成するように、前記複数のカメラセンサに結合された複数の画像処理ユニットによって前記画像データを圧縮することであって、前記複数の画像処理ユニットは、前記第１のカメラセンサによって捕捉された画像データを圧縮するように構成された第１の画像処理ユニットと、前記第２のカメラセンサによって捕捉された画像データを圧縮するように構成された第２の画像処理ユニットと、を少なくとも含む、前記画像データを圧縮することと、
前記複数の画像処理ユニットからコンピューティングシステムに前記圧縮画像データを通信することと、
前記圧縮画像データを前記コンピューティングシステムのメモリに格納することと、
前記コンピューティングシステムの車両制御プロセッサによって、前記圧縮画像データに基づいて車両を制御することと、を含む、方法。

【請求項11】

前記第１の画像処理ユニットおよび前記第２の画像処理ユニットが、前記第１のカメラセンサおよび前記第２のカメラセンサによって捕捉された前記画像データを並行して処理するように構成されている、請求項１０に記載の方法。

【請求項12】

前記画像データを圧縮することは、各画像処理ユニットが、複数の画像における１つ以上の画像の第１のセットを維持し、前記複数の画像における１つ以上の画像の第２のセットに関連する動きデータを抽出することによって、前記複数の画像を圧縮することを含む、請求項１０に記載の方法。

【請求項13】

前記画像データを圧縮することは、第１の画像を基準画像として格納し、後続の画像では、前記基準画像に対する変化に関係するデータを格納し、閾値が満たされた後に新しい基準画像を格納することを含む、請求項１０に記載の方法。

【請求項14】

前記第１のダイナミックレンジは、輝度レベルの第１の範囲に対応し、前記第２のダイナミックレンジは、輝度レベルの第２の範囲に対応し、前記輝度レベルの第２の範囲が、前記輝度レベルの第１の範囲より高い輝度レベルを含む、請求項１０に記載の方法。

【請求項15】

車両であって、
ルーフマウント式センサユニットであって、
複数のカメラセンサおよび前記複数のカメラセンサに結合された複数の画像処理ユニットを伴って構成された光学系であって、前記複数のカメラセンサが、第１のカメラセンサおよび第２のカメラセンサを備える少なくとも１つのカメラセンサ対を含み、前記第１のカメラセンサおよび前記第２のカメラセンサは、少なくとも部分的に重複する視野を有し、前記第１のカメラセンサは、第１のダイナミックレンジを有し、前記第２のカメラセンサは、前記第１のダイナミックレンジとは異なる第２のダイナミックレンジを有し、前記複数の画像処理ユニットは、圧縮画像データを生成するように、前記カメラセンサによって捕捉された画像データを圧縮するように構成され、前記複数の画像処理ユニットは、前記第１のカメラセンサによって捕捉された画像データを圧縮するように構成された第１の画像処理ユニットと、前記第２のカメラセンサによって捕捉された画像データを圧縮するように構成された第２の画像処理ユニットと、を少なくとも含む、光学系と、
前記ルーフマウント式センサユニットの外側で、前記車両内に位置するコンピューティングシステムであって、
前記圧縮画像データを格納するように構成されたメモリと、
前記圧縮画像データに基づいて前記車両を制御するように構成された制御システムと、を備える、コンピューティングシステムと、
前記ルーフマウント式センサユニット、および前記コンピューティングシステムの間で前記圧縮画像データを通信するように構成されたデータバスと、を備える、車両。

【請求項16】

前記第１の画像処理ユニットおよび前記第２の画像処理ユニットが、前記第１のカメラセンサおよび前記第２のカメラセンサによって捕捉された前記画像データを並行して処理するように構成されている、請求項１５に記載の車両。

【請求項17】

複数のカメラセンサが、８つのセンサ対を含み、前記８つのセンサ対が、円環に配置されている、請求項１５に記載の車両。

【請求項18】

前記円環が、回転するように構成される、請求項１７に記載の車両。

【請求項19】

前記第１のダイナミックレンジは、輝度レベルの第１の範囲に対応し、前記第２のダイナミックレンジは、輝度レベルの第２の範囲に対応し、前記輝度レベルの第２の範囲が、前記輝度レベルの第１の範囲よりも高い輝度レベルを含む、請求項１５に記載の車両。

【請求項20】

各画像処理ユニットが、複数の画像における１つ以上の画像の第１のセットを維持し、前記複数の画像における１つ以上の画像の第２のセットに関連する動きデータを抽出することにより、前記複数の画像を圧縮するように構成されている、請求項１５に記載の車両。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年１２月２９日に出願された米国仮特許出願第６２／６１２，２９４号に対する優先権を主張し、その内容全体は、参照により本明細書に組み込まれる。

【背景技術】

【0002】

車両は、どのような車輪付き、動力付き車両であってもよく、自動車、トラック、オートバイ、バスなどを含み得る。車両は、人および物品の輸送などの様々な仕事にも、また他の多くの用途にも利用され得る。

【0003】

一部の車両は、部分的または完全に自律型である場合がある。例えば、車両が自律モードにある場合、車両動作の運転面の一部またはすべては、自律車両システム（すなわち、自律車両の制御を容易にするために個別または集合的に機能する任意の１つ以上のコンピュータシステム）によって操作することができる。このような場合、オンボードおよび／またはサーバネットワークに位置付けられたコンピューティングデバイスは、運転ルートの計画、車両の方位の感知、車両の環境の感知、ならびにステアリング、スロットル、およびブレーキなどの運転構成要素の制御などの機能を実行するように動作可能であり得る。このため、自律車両は、車両動作の様々な局面における人間の相互作用の必要性を低減または排除し得る。

【発明の概要】

【0004】

一態様では、本出願は、装置を説明する。装置は、光学系を含む。光学系は、複数のカメラセンサを伴って構成され得る。各カメラセンサは、それぞれのカメラセンサの視野のそれぞれの画像データを作成するように構成され得る。光学系は、複数のカメラセンサに結合された複数の画像処理ユニットを伴ってさらに構成される。画像処理ユニットは、カメラセンサによって捕捉された画像データを圧縮するように構成される。装置は、コンピューティングシステムを有するようにさらに構成される。コンピューティングシステムは、圧縮画像データを格納するように構成されたメモリを伴って構成される。コンピューティングシステムは、圧縮画像データに基づいて装置を制御するように構成された車両制御プロセッサを伴ってさらに構成される。装置の光学系とコンピューティングシステムとは、光学系とコンピューティングシステムとの間で圧縮画像データを通信するように構成されたデータバスを介して結合される。

【0005】

別の態様では、本出願は、光学系を動作させる方法を説明する。この方法は、光学系の複数のセンサに光を与えて、各それぞれのカメラセンサに画像データを作成することを含む。画像データは、それぞれのカメラセンサの視野に対応する。この方法は、複数のカメラセンサに結合された複数の画像処理ユニットによって画像データを圧縮することをさらに含む。加えて、この方法は、複数の画像処理ユニットからコンピューティングシステムに圧縮画像データを通信することを含む。さらに、この方法は、コンピューティングシステムのメモリに圧縮画像データを格納することを含む。さらにまた、この方法は、コンピューティングシステムの車両制御プロセッサによって、圧縮画像データに基づいて装置を制御することを含む。

【0006】

さらに別の態様において、本出願は、車両を説明する。車両は、ルーフマウント式センサユニットを含む。ルーフマウント式センサユニットは、第１の複数のカメラセンサを伴って構成された第１の光学系を含む。第１の複数のカメラセンサの各カメラセンサは、それぞれのカメラセンサの視野のそれぞれの画像データを作成する。ルーフマウント式センサユニットは、第１の複数のカメラセンサに結合された複数の第１の画像処理ユニットも含む。第１の画像処理ユニットは、カメラセンサによって捕捉された画像データを圧縮するように構成される。車両は、第２のカメラユニットも含む。第２のカメラユニットは、第２の複数のカメラセンサを伴って構成された第２の光学系を含む。第２の複数のカメラセンサの各カメラセンサは、それぞれのカメラセンサの視野のそれぞれの画像データを作成する。第２のカメラユニットは、第２の複数のカメラセンサに結合された複数の第２の画像処理ユニットも含む。第２の画像処理ユニットは、第２のカメラユニットのカメラセンサによって捕捉された画像データを圧縮するように構成される。車両は、ルーフマウント式センサユニットの外側で車両内に位置するコンピューティングシステムをさらに含む。コンピューティングシステムは、圧縮画像データを格納するように構成されたメモリを含む。コンピューティングシステムは、圧縮画像データに基づいて車両を操作するように構成された制御システムも含む。さらに、車両は、ルーフマウント式センサユニット、第２のカメラユニット、およびコンピューティングシステムの間で圧縮画像データを通信するように構成されたデータバスを含む。

【0007】

上記の概要は、単に例証であり、多少なりとも限定することを意図するものではない。上記の例証的な態様、実装形態、および特徴に加えて、さらなる態様、実装形態、および特徴が、図および以下の詳細な説明を参照することによって明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】一実装形態例による、車両を示す機能ブロック図である。

【図2】一実装形態例による、車両の物理的構成の概念図である。

【図3A】一実装形態例による、自律車両に関係する様々なコンピューティングシステム間の無線通信の概念図である。

【図3B】一光学系例の構成要素例を描写する簡略ブロック図を示す。

【図3C】一実装形態例による、光学系の動作の概念図である。

【図4A】一実装形態例による、画像センサの配置を示す。

【図4B】一実装形態例による、雲台の配置を示す。

【図4C】一実装形態例による、画像センサの配置を示す。

【図5】一実装形態例による、方法のフローチャートである。

【図6】一実装形態例による、コンピュータプログラムの概略図である。

【発明を実施するための形態】

【0009】

本明細書では、方法およびシステムの例について記載する。「例」、「例示的」、および「例証的」という単語は、本明細書では「例、事例、または例証として機能する」ことを意味するために使用されることを理解されたい。「例」、「例示的」、または「例証的」であるとして本明細書で説明される任意の実装形態または特徴は、必ずしも他の実装形態または特徴よりも好ましいまたは有利であると解釈されるべきではない。本明細書で説明される実装形態の例は、限定することを意味するものではない。本明細書で一般的に説明され、かつ図に例証されている、本開示の態様について、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計を行うことができ、そのすべてが、本明細書において明示的に企図されていることが容易に理解されよう。加えて、本開示では、別段の定めがない限り、かつ／または特定の文脈により、明らかに他のことが示されない限り、「１つ（ａ）」または「１つ（ａｎ）」という用語は、少なくとも１つを意味し、「その（ｔｈｅ）」という用語は、少なくとも１つを意味する。なおさらに、「有効」という用語は、アクティブおよび／または機能することを意味する場合があり、必ずしもオンにするための積極的なアクションを必要としない。同様に、「無効」という用語は、非アクティブおよび／または機能しないことを意味する場合があり、必ずしもオフにするための積極的なアクションを必要としない。

【0010】

さらに、図に示されている特定の配置は、限定的であるとみなされるべきではない。他の実装形態が、所与の図に示される各要素をそれより多くまたは少なく含み得ることを理解されたい。さらに、例証された要素のいくつかは、組み合わせるか、または省略されてもよい。さらにまた、実装形態例は、図に例証されていない要素を含んでもよい。

【0011】

実際には、自律車両システムは、車両の環境を表すデータを使用して物体を識別し得る。次に、車両システムは、車両に特定の方法で動作するように命令するなど、別の動作を行うための基礎として物体の識別を使用し得る。例えば、物体が一時停止の標識である場合、車両システムは、一時停止の標識の前に減速して停止するように車両に命令し得、または、物体が道路の真ん中にいる歩行者である場合、車両システムは、歩行者を避けるように車両に命令し得る。

【0012】

状況によっては、車両は、複数の光学カメラを有する画像化システムを使用して、車両の周りの環境を画像化し得る。環境の画像化は、物体の識別および／またはナビゲーションに使用され得る。画像化システムは、相補型金属酸化膜－半導体（ＣＭＯＳ）画像センサなどの画像センサ（すなわち、光センサおよび／またはカメラ）をそれぞれが有する、多くの光学カメラを使用し得る。各ＣＭＯＳセンサは、入射光をサンプリングし、それぞれのセンサの視野の画像データを作成するように構成され得る。各センサは、所定のレートで画像を作成し得る。例えば、画像センサは、１秒当たり３０枚または６０枚の画像で、画像を捕捉することができ、または、外部センサもしくは外部事象によって、潜在的に反復的に、画像捕捉が引き起こされ得る。複数の捕捉された画像は、映像を形成し得る。

【0013】

いくつかの例では、車両は、複数のカメラを含み得る。一例では、車両は、１９個のカメラを含み得る。１９個カメラ設置では、カメラのうちの１６個をセンサドームに装着し、他の３つのカメラを主車両に装着することができる。ドーム内にない３つのカメラは、前方視方向を伴って構成され得る。センサドーム内の１６個のカメラは、８つのカメラ（すなわち、センサ）対として配置され得る。８つのセンサ対は、円環に装着され得る。一例では、センサ対は、各センサ対間に４５度離間がある状態で装着され得るが、他の角度離間も使用され得る（いくつかの例では、センサは、センサの視野の重なりを引き起こす角度離間を有するように構成され得る）。加えて、いくつかの例では、円環および装着されたカメラユニットは、円を描いて回転するように構成され得る。円環が回転する際、カメラはそれぞれ、車両の完全３６０度環境を画像化することが可能であり得る。

【0014】

いくつかの例では、各カメラは、他のカメラと同じ画像レート、および同じ解像度で画像を捕捉する。他の例では、カメラは、異なるレート、および異なる解像度で画像を捕捉し得る。実際には、３つの前方視カメラは、カメラ環の一部であるカメラよりも高い解像度、および高いフレームレートで画像を捕捉し得る。

【0015】

一例では、カメラ対を作り上げる２つのカメラは、同様の視野を有するように構成されるが、ダイナミックレンジが異なれば、それに対応する輝度レベルの範囲も異なる、２つのカメラであり得る。様々なダイナミックレンジを有することによって、一方のカメラは、高輝度光の画像を捕捉するのにより効果的であり得（例えば、センサに光を当てる）、他方のカメラは、低輝度光の画像を捕捉するのにより効果的であり得る。例えば、夜間の車のヘッドライトのように明るく見える物体もあれば、夜間の全身黒ずくめのジョガーなど、ぼんやりと見える物体もあり得る。車両の自律運転の場合、対向車のライトとジョガーの両方を画像化できることが望ましい場合がある。光量の違いが大きいために、カメラ１つのみで両方を同時に画像化できない可能性がある。しかし、カメラ対には、高光量（車のヘッドライトなど）を画像化することができる第１のダイナミックレンジを有する第１のカメラと、低光量（全身黒ずくめのジョガーなど）を画像化することができる第２のダイナミックレンジを有する第２のカメラとが含まれ得る。他の例も可能である。加えて、本出願のカメラは、２０１７年１２月２８日に出願された米国仮特許出願第６２／６１１，１９４号に開示されているものと同様または同じであり得、上記特許出願の内容全体を参照により本明細書に組み入れる。

【0016】

１９個のカメラの各々が固定フレームレートで画像を捕捉するため、システムによって捕捉されるデータの量は、非常に大きくなる可能性がある。例えば、捕捉される各画像が１０メガピクセルの場合、各非圧縮画像のサイズは、約１０メガバイトであり得る（他の例では、画像の解像度、ビット深度、圧縮などの様々な要因によってファイルサイズが異なり得るる）。１９個のカメラがあり、各々が、毎秒６０回、１０メガバイトの画像を捕捉する場合、カメラシステム全体は、１秒当たり約１１．５ギガバイトの画像データを捕捉し得る。カメラシステムによって捕捉されるデータの量が、格納し、車両の様々な処理構成要素にルーティングするには実際的ではない場合がある。そのため、システムは、画像化システムのデータ使用量を低減するために、画像処理および／または圧縮を使用し得る。

【0017】

画像化システムのデータ使用量を低減するために、画像センサが、画像処理を行うように構成されている１つ以上の専用プロセッサに結合され得る。画像処理には、画像圧縮が含まれ得る。さらに、システムの計算およびメモリの必要性を低減するために、画像データは、さらなる処理に向けてルーティングされる前に、画像センサの近くに位置する画像処理装置によって圧縮され得る。

【0018】

本開示の処理は、カラーセンシングの処理によって行われ得る。カラーセンシングの処理では、完全に可視のカラースペクトル、可視のカラースペクトルの部分集合、および／または人間の可視範囲外のカラースペクトルの一部（例えば、赤外線および／または紫外線）を使用し得る。多くの従来の画像処理システムは、白黒および／または狭い色空間のみを使用して動作し得る（すなわち、赤のフィルタなどのカラーフィルタを有する画像に対して働く）。カラーセンシングの処理を使用することにより、物体感知、物体検出、および画像データの再構成に、より正確な色表現が使用され得る。

【0019】

いくつかの例では、所与の画像センサからの所定枚数の連続する画像が、画像のうちの１枚のみを維持し、維持されない残りの画像から物体の動きに関係するデータを抽出することによって圧縮され得る。例えば、６枚の連続する画像の各セットに対して、画像のうちの１枚が保存され得、残りの５枚の画像は、それらに関連する動きデータのみが保存され得る。他の例では、所定の画像枚数は、６枚以外であり得る。他のいくつかの例では、システムは、様々な基準に基づいて画像の枚数を動的に変更し得る。

【0020】

さらに別の例では、システムは、基準画像を格納し、他の画像については、基準画像に対する変化を含むデータのみを格納し得る。いくつかの例では、所定の画像枚数の後、または基準画像からの閾値レベルの変化の後に、新しい基準画像が格納され得る。例えば、所定の画像枚数は、天候条件または環境条件に基づいて変更され得る。他の例では、所定の画像枚数は、検出対象の物体の個数および／または場所に基づいて変更され得る。加えて、画像処理装置が、保存される画像に対してある程度の圧縮を行う可能性があり、システムのデータ要件をさらに低減する。

【0021】

システムの性能を高めるには、センサ対のセンサによって捕捉された画像を同時に、またはほぼ同時に処理することが望ましい場合がある。画像を可能な限り同時に処理するためには、センサ対の各センサによって捕捉された画像および／または映像を異なるそれぞれの画像処理装置にルーティングすることが望ましい場合がある。そのため、センサ対によって捕捉された２つの画像は、２つの異なる画像処理装置によって同時に、またはほぼ同時に処理され得る。いくつかの例では、画像処理装置は、画像センサに物理的に近接して位置し得る。例えば、車両のセンサドームに位置する４つの画像処理装置が存在し得る。別の例では、車両のフロントガラスの下に位置している画像センサと共同設置された画像処理装置が存在し得る。この例では、１つまたは２つの画像処理装置が前方視の画像センサの近くに位置し得る。

【0022】

実際には、画像センサと画像処理装置との間の電気的距離（すなわち、電気的トレースに沿って測定された距離）は、数インチほどであり得る。一例では、画像センサと、第１の画像圧縮を行う画像処理装置とは、互いに６インチ以内に位置する。

【0023】

互いに近くに位置する画像センサと画像処理装置とを有することには、多くの利点がある。１つの利点は、システムの待ち時間が短縮され得ることである。画像データは、車両制御システムに通信される前に、センサの近くで素早く処理され得、かつ／または圧縮され得る。これにより、車両制御システムは、データを取得するのに長く待たずに済むようになり得る。２つ目の利点は、互いに近くに位置する画像センサと画像処理装置とを有することにより、車両のデータバスを介してデータがより効果的に通信され得ることである。

【0024】

画像処理装置は、車両のデータバスに結合され得る。データバスは、処理された画像データを車両の別のコンピューティングシステムに通信し得る。例えば、画像データは、自律車両の動作を制御するように構成されている処理システムによって使用され得る。データバスは、光、同軸、またはツイストペアの通信経路にわたって働き得る。データバスの帯域幅は、処理された画像データをさらなる通信のためにある程度のオーバーヘッドで通信するのに十分であり得る。しかしながら、画像データが処理されなかった場合、データバスは、捕捉された画像データのすべてを通信するのに十分な帯域幅を有しない可能性がある。したがって、本システムは、従来の画像処理システムの処理およびデータ移動の要件を伴わずに、高品質のカメラシステムによって捕捉された情報を活かすことが可能であり得る。

【0025】

本システムは、従来の車両用カメラシステムよりも高い解像度を有する１つ以上のカメラで働き得る。より高いカメラ解像度を有しているため、いくつかの例では、本開示のシステムが作り出し得る、より高い解像度の画像に現れる可能性があるいくつかの望ましくない影響を相殺するために、ある程度の信号処理を本システムに組み込むことが望ましい場合がある。いくつかの例では、本システムは、見通し線ジッタおよび／またはピクセルスミア解析を測定し得る。測定値は、ピクセル当たりミリラジアンの歪みに関して計算され得る。これらの歪みの解析により、望ましくない影響を相殺または軽減する処理が可能になり得る。加えて、システムは、カメラ雲台のぐらつきまたは振動によって引き起こされ得る画像のブレに見舞われる可能性がある。ブレを最小限に抑えるために、ブレ軽減および／または画像安定化技法が使用され得る。本カメラシステムは、通常、従来の車両用カメラシステムよりも解像度が高いことから、多くの従来のシステムでは、カメラの解像度が低すぎて影響に気付かないことがあるため、これらの潜在的な負の影響を相殺する必要がなかった。

【0026】

加えて、本開示のカメラシステムは、様々な解像度の複数のカメラを使用し得る。一例において、前述のカメラ対（すなわち、センサ対）は、第１の解像度および第１の視野角幅を有し得る。システムは、バックミラーの場所の背後など、車両のフロントガラスの下に、前方視方向に装着された少なくとも１つのカメラも含み得る。いくつかの例では、バックミラーの背後に位置するカメラは、第１の解像度および第１の視野角幅を有するカメラ対を含み得る。フロントガラスの背後に位置するカメラは、第１の解像度よりも高い解像度と、第１の視野角幅よりも広い視野角幅とを有する第３のカメラを含み得る。いくつかの例では、フロントガラスの背後に高解像度広角カメラしかない可能性がある。他の例も考えられ得る。

【0027】

フロントガラスの背後に高解像度広角カメラを有するこのカメラシステムは、全体としてカメラシステムのダイナミックレンジにより第３の自由度を可能にし得る。加えて、フロントガラスの背後への高解像度広角カメラの導入により、角度離間型カメラセンサによって形成された継ぎ目の領域を画像化する能力を有するなど、他の利点も得られる。加えて、高解像度広角カメラにより、かなり遠くまでの連続検出能力が可能になり、かつ／または、長い焦点距離のレンズを用いて、離れた所にある一時停止標識を見ることができる。この同じカメラセンサでは、標識の純然たる大きさと視野により、一時停止標識を近くで画像化するのに苦労することがある。仕様（例えば、解像度および角度視野）と場所（装着場所および視野）が様々であるカメラを組み合わせることにより、このシステムは、従来のシステムよりもさらなる利点を提供し得る。

【0028】

ここで、本開示の範囲内のシステム例をより詳細に説明する。一システム例は、自動車に実装され得るか、または自動車の形態をとり得る。しかし、システム例はまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、およびロボットデバイスなど、他の車両に実装され得るか、または他の車両の形態をとり得る。他の車両も同じく考えられ得る。

【0029】

ここで図を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る、車両１００例を示す機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両１００は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。いくつかの実装形態では、車両１００は、運転者が車両１００の動作を制御することを可能にするサブシステムも含み得る。

【0030】

図１に示すように、車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１つ以上の周辺機器１０８、電源１１０、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６などの様々なサブシステムを含み得る。他の例では、車両１００は、それぞれが複数の要素を含むことができるサブシステムをより多くまたはより少なく含み得る。車両１００のサブシステムおよび構成要素は、様々な方法で相互接続され得る。加えて、本明細書に記載の車両１００の機能は、実装形態範囲内で、さらなる機能的または物理的構成要素に分割するか、または組み合わせて、より少ない機能的もしくは物理的構成要素にすることができる。

【0031】

推進システム１０２は、車両１００に対して動力式運動を提供するように動作可能な１つ以上の構成要素を含み得、他の可能な構成要素の中でもとりわけ、エンジン／モータ１１８、エネルギー源１１９、トランスミッション１２０、および車輪／タイヤ１２１を含み得る。例えば、エンジン／モータ１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でもとりわけ、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの１つもしくは組み合わせに対応し得る。例えば、いくつかの実装形態では、推進システム１０２は、ガソリンエンジンおよび電気モータなどの複数のタイプのエンジンおよび／またはモータを含み得る。

【0032】

エネルギー源１１９は、完全にまたは部分的に、車両１００の１つ以上のシステム（例えば、エンジン／モータ１１８）に動力を供給し得るエネルギー源に相当する。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および／または他の電力源に対応することができる。いくつかの実装形態では、エネルギー源１１９は、燃料タンク、電池、コンデンサ、および／またはフライホイールの組み合わせを含み得る。

【0033】

トランスミッション１２０は、エンジン／モータ１１８からの機械動力を、車輪／タイヤ１２１および／または車両１００の他の可能なシステムに伝達し得る。したがって、トランスミッション１２０は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、１つ以上の車輪／タイヤ１２１に接続する車軸を含み得る。

【0034】

車両１００の車輪／タイヤ１２１は、例示的な実装形態内で様々な構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、または自動車／トラックの四輪車の形式で存在し得る。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属およびゴムなどの異なる材料で存在することができる。

【0035】

センサシステム１０４は、他の可能なセンサの中でもとりわけ、全地球測位システム（ＧＰＳ）１２２、慣性計測ユニット（ＩＭＵ）１２４、レーダ１２６、レーザ距離計／ＬＩＤＡＲ１２８、カメラ１３０、ステアリングセンサ１２３、およびスロットル／ブレーキセンサ１２５などの様々なタイプのセンサを含むことができる。いくつかの実装形態では、センサシステム１０４は、車両１００の内部システム（例えば、Ｏ_２モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗）を監視するように構成されたセンサを含み得る。

【0036】

ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含み得る。ＩＭＵ１２４は、１つ以上の加速度計および／またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両１００の位置および配向の変化を感知し得る。例えば、ＩＭＵ１２４は、車両１００が静止しているかまたは動いている間に車両１００のピッチおよび偏揺れを検出することができる。

【0037】

レーダ１２６は、物体の速さおよび進行方向を含めて、無線信号を使用して、車両１００のローカル環境内の物体を感知するように構成された１つ以上のシステムに相当し得る。したがって、レーダ１２６は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実装形態では、レーダ１２６は、車両１００の周囲環境の測定値を取得するように構成された装着可能なレーダシステムに対応し得る。

【0038】

レーザ距離計／ＬＩＤＡＲ１２８は、他のシステム構成要素の中でも、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出を使用）または非コヒーレント検出モードで動作し得る。カメラ１３０は、車両１００の環境の画像を捕捉するように構成された１つ以上のデバイス（例えば、スチルカメラまたはビデオカメラ）を含み得る。カメラ１３０は、車両全体にわたって位置付けられた複数のカメラユニットを含み得る。カメラ１３０は、車両の上部ドームに位置付けられたカメラユニット、および／またはフロントガラスの近くに装着されたカメラなど、車両の本体内に位置するカメラユニットを含み得る。

【0039】

ステアリングセンサ１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実装形態では、ステアリングセンサ１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサ１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両１００の車輪の角度の組み合わせ（または部分集合）を測定するように構成され得る。

【0040】

スロットル／ブレーキセンサ１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル／ブレーキセンサ１２５は、アクセルペダル（スロットル）およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル（スロットル）の角度および／もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル／ブレーキセンサ１２５はまた、エンジン／モータ１１８（例えば、バタフライバルブまたはキャブレタ）にエネルギー源１１９の変調を与える物理的機構の一部を含み得る、車両１００のスロットルボディの角度を測定し得る。加えて、スロットル／ブレーキセンサ１２５は、車両１００のロータに掛かる１つ以上のブレーキパッドの圧力、またはアクセルペダル（スロットル）およびブレーキペダルの角度の組み合わせ（または部分集合）、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットル本体の角度、ならびに少なくとも１つのブレーキパッドが車両１００のロータに加える圧力、を測定し得る。他の実装形態では、スロットル／ブレーキセンサ１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。

【0041】

制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサフュージョンアルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／経路探索システム１４２、および障害物回避システム１４４など、車両１００をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の進行方向を調整するように動作可能であり得、スロットル１３４は、エンジン／モータ１１８の動作スピードを制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを含み得る。実施態様によっては、ブレーキユニット１３６は、車両１００のシステムまたはシステム（複数）によるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。

【0042】

センサフュージョンアルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実装形態では、センサフュージョンアルゴリズム１３８は、個々の物体および／もしくは特徴の評価、特定の状況の評価、ならびに／または所与の状況内の潜在的な影響の評価など、入ってくるセンサデータに基づくアセスメントを提供し得る。

【0043】

コンピュータビジョンシステム１４０は、物体、環境物体（例えば、停止信号、道路の境界など）、および障害物を判定しようとする際に画像を処理し、分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム１４０は、物体認識、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）、映像追跡、およびコンピュータビジョンで使用される他のアルゴリズムを使用して、例えば、物体を認識する、環境をマッピングする、物体を追跡する、物体の速さを推定する、などを行うことができる。

【0044】

ナビゲーション／経路探索システム１４２は、車両１００の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション／経路探索システム１４２は、他の情報源の中でもとりわけ、センサフュージョンアルゴリズム１３８、ＧＰＳ１２２、および地図からのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサデータに基づいて潜在的な障害物を評価し、車両１００のシステムに、潜在的な障害物を回避させるか、そうでなければうまく切り抜けさせることができる。

【0045】

図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、および／またはスピーカ１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザがユーザインターフェース１１６と相互作用するための制御装置または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザに情報を提供し得る。ユーザインターフェース１１６はまた、タッチスクリーン１４８を介してユーザからの入力を受け入れ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。

【0046】

無線通信システム１４６は、１つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、またはＷｉＭＡＸもしくはＬＴＥなどの４Ｇセルラ通信を使用することができる。代替的に、無線通信システム１４６は、ＷｉＦｉまたは他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、またはＺｉｇＢｅｅを使用してデバイスと直接通信し得る。様々な車両用通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両および／または道路沿いの給油所間の公共および／または私的データ通信を含み得る１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。

【0047】

車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実装形態では、再充電可能なリチウムイオン電池または鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された１つ以上の電池を含み得る。車両１００はまた、他のタイプの電源を使用してもよい。一実装形態例では、電源１１０およびエネルギー源１１９は、単一のエネルギー源に統合されてもよい。

【0048】

車両１００はまた、本明細書に記載の動作などの動作を行うためのコンピュータシステム１１２を含み得る。したがって、コンピュータシステム１１２は、データストレージ１１４などの非一時的なコンピュータ可読媒体に格納された命令１１５を実行するように動作可能な少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサを含むことができる）を含み得る。いくつかの実装形態では、コンピュータシステム１１２は、車両１００の個々の構成要素またはサブシステムを分散して制御するように機能し得る複数のコンピューティングデバイスに相当し得る。

【0049】

いくつかの実装形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するためにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データストレージ１１４は、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８のうちの１つ以上にデータを送信する、それからデータを受信する、それと相互作用する、かつ／またはそれを制御する命令を含む追加の命令も含み得る。

【0050】

命令１１５に加えて、データストレージ１１４は、他の情報の中でもとりわけ、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、車両１００およびコンピュータシステム１１２によって使用され得る。

【0051】

車両１００は、車両１００のユーザに情報を提供するか、または車両１００のユーザから入力を受信するためのユーザインターフェース１１６を含み得る。ユーザインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツおよび／またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカ１５２などの周辺機器１０８のセット内の１つ以上の入力／出力デバイスを含むことができる。

【0052】

コンピュータシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および制御システム１０６）から受信した入力に基づいて、またユーザインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御し得る。例えば、コンピュータシステム１１２は、推進システム１０２および制御システム１０６によって生成された出力を推定するために、センサシステム１０４からの入力を利用してもよい。実装形態に応じて、コンピュータシステム１１２は、車両１００およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実装形態では、コンピュータシステム１１２は、センサシステム１０４から受信した信号に基づいて、車両１００の一部またはすべての機能を無効にし得る。

【0053】

車両１００の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素との相互接続方式で働くように構成され得る。例えば、一実装形態例において、カメラ１３０は、自律モードで動作している車両１００の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム１４０は、道路の複数の画像に基づいて、傾斜（勾配）または他の特徴を認識することが可能であり得る。加えて、ＧＰＳ１２２とコンピュータビジョンシステム１４０によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ１１４に格納された地図データと共に使用され得る。さらに、レーダユニット１２６はまた、車両の周囲についての情報を提供し得る。

【0054】

言い換えると、様々なセンサ（入力指標センサおよび出力指標センサと呼ぶことができる）とコンピュータシステム１１２との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。

【0055】

いくつかの実装形態では、コンピュータシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両１００は、車両の視野内の物体を感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム１１２は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離および方向情報を判定し得る。コンピュータシステム１１２はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。

【0056】

図１は、車両１００の様々な構成要素、すなわち、無線通信システム１４６、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６を車両１００に統合されているものとして示しているが、これらの構成要素のうちの１つ以上は、車両１００とは別個に装着または関連付けることができる。例えば、データストレージ１１４は、部分的または完全に、車両１００とは別個に存在することができる。したがって、車両１００は、別個にまたは一緒に位置付けられ得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で一緒に通信可能に結合され得る。

【0057】

図２は、図１を参照して説明された車両１００の１つの可能な物理的構成を表し得る車両２００の一物理的構成例を示す。実装形態に応じて、車両２００は、他の可能な構成要素の中でもとりわけ、センサユニット２０２、無線通信システム２０４、ラジオユニット２０６、デフレクタ２０８、およびカメラ２１０を含み得る。例えば、車両２００は、図１に記載された構成要素のうちの一部またはすべての要素を含み得る。車両２００は、図２では自動車として示されているが、車両２００は、他の可能な例の中でもとりわけ、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業用車両などの例の範囲内の他の構成を有することができる。

【0058】

センサユニット２０２は、車両２００の周囲環境の情報を捕捉するように構成された１つ以上のセンサを含み得る。例えば、センサユニット２０２は、他の可能なタイプのセンサの中でも、カメラ、レーダ、ＬＩＤＡＲ、距離計、無線デバイス（例えば、Ｂｌｕｅｔｏｏｔｈおよび／または８０２．１１）、ならびに音響センサの任意の組み合わせを含み得る。いくつかの実装形態では、センサユニット２０２は、センサユニット２０２内のセンサの配向を調整するように動作可能な１つ以上の可動マウントを含み得る。例えば、可動マウントは、車両２００の周りの各方向から情報を取得するためにセンサをスキャンすることができる回転式雲台を含み得る。センサユニット２０２の可動マウントはまた、特定の範囲の角度および／または方位角内の走査方式で可動であってもよい。

【0059】

いくつかの実装形態では、センサユニット２０２は、センサユニット２０２が自動車のルーフの頂上に装着されることを可能にする機械的構造を含み得る。加えて、例の範囲内で他の装着場所も可能である。

【0060】

無線通信システム２０４は、図２に示されるように、車両２００に対して相対的な場所を有し得るが、実装形態内で異なる場所を有することもできる。無線通信システム２００は、他の外部または内部デバイスと通信し得る１つ以上の無線送信機および１つ以上の受信機を含み得る。例えば、無線通信システム２０４は、他の可能な実在物の中でも特に、ユーザのデバイス、他の車両、および道路要素（例えば、標識、交通信号機）と通信するための１つ以上のトランシーバを含み得る。このように、車両２００は、専用狭域通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、および高度道路交通システムを対象とする他の提案された通信規格などの通信を容易にするための１つ以上の車両用通信システムを含み得る。

【0061】

カメラ２１０は、車両２００のフロントガラス上の場所など、車両２００に対して様々な位置を有し得る。このように、カメラ２１０は、車両２００の環境の画像を捕捉し得る。図２に示すように、カメラ２１０は、車両２００に対して前方視ビューから画像を捕捉し得るが、実装形態範囲内で、カメラ２１０の他の装着場所（可動マウントを含む）および視野角が可能である。いくつかの例では、カメラ２１０は、１つ以上の可視光カメラに対応し得る。代替的にまたは追加的に、カメラ２１０は、赤外線感知機能を含み得る。カメラ２１０はまた、調整可能な視野を提供し得る光学系を含み得る。

【0062】

図３Ａは、一実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、またサーバコンピューティングシステム３０６と車両２００との間でも発生し得る。

【0063】

車両２００は、場所間で乗客または物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の１つ以上の形態をとり得る。場合によっては、車両２００は、制御システムがセンサ測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両２００は、乗客の有無に関わらずナビゲートし得る。その結果、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。

【0064】

リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技法に関連する任意のタイプのデバイスに相当し得る。例の範囲内で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関連する情報を受信し、（ｉｉ）人間のオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、（ｉｉｉ）応答を車両２００に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスに相当し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの、様々な形態をとり得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。

【0065】

リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム３０２は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実装形態では、リモートコンピューティングシステム３０２はまた、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースを含み得る。他の例も可能である。

【0066】

ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャに相当する。ネットワーク３０４はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、またサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。

【0067】

リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、それを用いて人間のオペレータが車両２００の乗客または運転者と相互作用することができる車両２００内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを有するコンピューティングデバイスであってもよい。

【0068】

いくつかの実装形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的にまたは代替的に、車両２００によって（すなわち、車両２００の任意のシステム（複数可）またはサブシステム（複数可）によって）行われ得る。言い換えれば、車両２００は、それを用いて車両の運転者または乗客が相互作用することができる、リモートアシスタンス機構を提供するように構成され得る。

【0069】

サーバコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信し、格納し、判定し、かつ／または送信するように構成された任意のコンピューティングデバイスに相当し得る。このように、サーバコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作（複数可）またはそのような動作（複数可）の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実装形態では、サーバコンピューティングシステム３０６を利用できるが、他の実装形態では利用できない。

【0070】

サーバコンピューティングシステム３０６は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。

【0071】

上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。

【0072】

上記の考察に沿って、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、またはことによるとサーバコンピューティングシステム３０６、あるいは車両２００にローカルなコンピューティングシステム）は、カメラを使用して、自律車両の環境の画像を捕捉するように動作し得る。一般に、少なくとも１つのコンピューティングシステムが画像を分析することができ、場合によっては自律車輌を制御する。

【0073】

いくつかの実装形態では、自律動作を容易にするために、車両（例えば、車両２００）は、車両が動作する環境内の物体を表すデータ（本明細書では「環境データ」とも称される）を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信することができる。

【0074】

一例では、カメラが、静止画像および／または映像を捕捉するように構成され得る。いくつかの実装形態では、車両は、異なる配向に位置決めされた２つ以上のカメラを有し得る。また、いくつかの実装形態では、カメラは、異なる方向で画像および／または映像を捕捉するように移動することが可能であり得る。カメラは、車両の処理システムによる後の処理のために、捕捉された画像および映像をメモリに格納するように構成され得る。捕捉された画像および／または映像は、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。

【0075】

別の例では、レーダユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム（または処理システム）が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実装形態では、車両は、異なる配向に２つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データであり得る。

【0076】

別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号（例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光）を送信するように構成され得る。レーザ距離計は、反射電磁（例えば、レーザ）信号を捕捉することが可能であり得る。捕捉された反射電磁信号は、測距システム（または処理システム）が様々な物体までの距離を判定することを可能にし得る。測距システムはまた、対象物体の方向性をもつ速度（ｖｅｌｏｃｉｔｙ）または速さ（ｓｐｅｅｄ）を判定することができ、それを環境データとして格納することが可能であり得る。

【0077】

加えて、一例では、マイクロフォンが、車両を取り巻く環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音は、緊急車両のサイレンおよび他の車両の音が含み得る。例えば、マイクロフォンは、緊急車両のサイレンの音を捕捉し得る。処理システムは、捕捉されたオーディオ信号が緊急車両を示していると確認することが可能であり得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉し得る。処理システムは、捕捉されたオーディオ信号がオートバイを示していると確認することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。

【0078】

さらに別の例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、および／または他の無線技術信号の形態をとり得る電磁信号を送信するように構成され得る。第１の電磁放射信号は、ラジオユニットに位置付けられた１つ以上のアンテナを介して送信され得る。さらに、第１の電磁放射信号は、多くの異なる無線シグナリングモードのうちの１つで送信されてもよい。しかしながら、いくつかの実装形態では、自律車両の近くに位置するデバイスからの応答を要求するシグナリングモードで第１の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出し、この通信された情報を環境データの一部として使用することが可能であり得る。

【0079】

いくつかの実装形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実装形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。

【0080】

自律モードで動作している間、車両は、ほとんどまたは全く人間の入力を伴わずにその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力を伴わずに（例えば、人間がブレーキ／アクセルペダルを操縦すること、または触れることを必要とせずに）、指定された目的地まで運転することが可能であり得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を避けるために、道路交通法を守るためになど、速度を変更することができる。車両の処理システムが車両の近くの物体を確認すると、車両は、速度を変更すること、または別の方法で動きを変えることが可能であり得る。

【0081】

車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ（またはより強力なコンピュータ）に、（ｉ）物体が実際に環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか）、（ｉｉ）車両の物体の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を修正する、および／または（ｉｖ）自律車両に対して補足的な命令を提供する（または現在の命令を変更する）などの、１つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが、車両の動作を制御するための命令を提供する（例えば、人間のオペレータが、物体が一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する）ことが含まれ得るが、場合によっては、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御し得る。

【0082】

車両は、環境データのソースに応じて、様々な方法で環境の物体を検出し得る。いくつかの実装形態では、環境データは、カメラから来て、画像または映像データであり得る。他の実装形態では、環境データはＬＩＤＡＲユニットから来る場合がある。車両は、捕捉された画像または映像データを分析して、画像または映像データ内の物体を識別し得る。方法および装置は、環境の物体の存在について画像および／または映像データを監視するように構成され得る。他の実装形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境の物体を識別するように構成され得る。

【0083】

いくつかの実装形態では、物体を検出するために車両が使用する技法は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に位置付けられたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実装形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色の物体を、建設関連の街路標識として検出するように構成されてもよい。加えて、車両の処理システムが、捕捉されたデータにおいて物体を検出すると、処理システムはまた、各物体について信頼度を計算することができる。

【0084】

さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実装形態では、検出されたすべての物体について、信頼度閾値が同じであってもよい。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。

【0085】

検出された物体に関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実装形態では、車両は、低い信頼度レベルにも関わらず、検出された物体が存在するかのように反応し得る。他の実装形態では、車両は、検出された物体が存在しないかのように反応することがある。

【0086】

車両は、環境の物体を検出すると、特定の検出された物体に関連付けられた信頼度も計算することができる。信頼度は、実装形態に応じて様々な方法で計算され得る。一例では、環境の物体を検出するとき、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実装形態では、車両は、環境データの数理解析を使用して、物体に関連付けられた信頼度を判定し得る。

【0087】

物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別と共にリモートアシスタンスの要求を送信し得る。

【0088】

いくつかの実装形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられてもよく、車輌は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でも特に、車両を停止すること、車両を人間制御モードに切り替えること、車両の速度（例えば、速さおよび／または方向）を変更することの形態をとり得る。

【0089】

他の実装形態では、車両が閾値を満たすか、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る（例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出された物体に従って動作するのと同時に（または後で）リモートアシスタンスを要求するように構成され得る。

【0090】

図３Ｂは、一光学系３４０例の構成要素例を表す簡略ブロック図を示す。この光学系３４０例は、本明細書で説明される自律車両の光学系に対応する可能性がある。いくつかの例では、車両は、複数の光学系３４０を含み得る。例えば、車両は、車両の上面のセンサドーム内に装着された１つの光学系と、車両のフロントガラスの背後に位置する別の光学系とを含み得る。他の例では、様々な光学系が、車両全体にわたって、様々な異なる位置にあり得る。

【0091】

光学系３４０は、１つ以上の画像センサ３５０、１つ以上の画像処理装置３５２、およびメモリ３５４を含み得る。望ましい構成に応じて、画像処理装置３５２は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、グラフィックスプロセッシングユニット（ＧＰＵ）、システムオンチップ（ＳＯＣ）、またはそれらの任意の組み合わせを含むが、これらに限定されない、任意のタイプのプロセッサであり得る。ＳＯＣは、従来のマイクロプロセッサ、ＧＰＵ、ビデオエンコーダ／デコーダ、および他のコンピューティング構成要素を組み合わせたものであり得る。さらに、メモリ３５４は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組み合わせを含むが、これらに限定されるわけではない、現在知られている、または今後開発される任意のタイプのメモリであり得る。いくつかの例では、メモリ３５４は、画像データを一時的に格納するためのメモリキャッシュであり得る。いくつかの例では、メモリ３５４は、画像処理装置３５２を形成するＳＯＣの一部として統合され得る。

【0092】

一実施形態例において、光学系３４０は、画像処理装置３５２を外部コンピューティングデバイス３５８と通信可能につなぐシステムバス３５６を含み得る。外部コンピューティングデバイス３５８は、車両制御プロセッサ３６０、メモリ３６２、通信システム３６４、および他の構成要素を含み得る。加えて、外部コンピューティングデバイス３５８は、車両そのものに位置し得るが、光学系３４０とは別個のシステムとして位置し得る。通信システム３６４は、車両とリモートコンピュータサーバとの間でデータを通信するように構成され得る。加えて、外部コンピューティングデバイス３５８は、画像のより長期の格納および／または処理に使用され得る。外部コンピューティングデバイス３５８は、光学系３４０のメモリ３５４よりも大きなメモリを伴って構成され得る。例えば、外部コンピューティングデバイス３５８内の画像データは、自律車両のナビゲーションシステム（例えば、ナビゲーションプロセッサ）によって使用され得る。

【0093】

一光学系３４０例は、複数の画像センサ３５０を含む。一例では、光学系３４０は、画像センサ３５０として１６個の画像センサと、４つの画像処理装置３５２と、を含み得る。画像センサ３５０は、ルーフマウント式センサドームに装着され得る。１６個の画像センサは、８つのセンサ対として配置され得る。センサ対は、カメラ環上に装着され得、カメラ環では、各センサ対が隣接するセンサ対から４５度離れて装着される。いくつかの例では、センサユニットの動作の間、センサ環は、回転するように構成され得る。

【0094】

画像センサ３５０は、本明細書で説明されるように、画像処理装置３５２に結合され得る。各センサ対の各センサは、異なる画像処理装置３５２に結合され得る。各センサを異なる画像処理装置に結合することにより、それぞれのセンサ対によって捕捉された画像が同時に（またはほぼ同時に）処理され得る。いくつかの例では、画像センサ３５０はすべて、画像処理装置３５２のすべてに結合され得る。画像センサからそれぞれの画像処理装置への画像のルーティングは、物理的接続だけではなく、ソフトウェアによっても制御され得る。いくつかの例では、画像センサ３５０および画像処理装置３５２の両方が、車両のセンサドームに位置し得る。いくつかの追加の例では、画像センサ３５０は、画像処理装置３５２の近くに位置し得る。例えば、画像センサ３５０と画像処理装置３５２との間の電気的距離（すなわち、電気的トレースに沿って測定された距離）は、数インチほどであり得る。一例では、画像センサ３５０と第１の画像の圧縮を行う画像処理装置３５２とは、互いに６インチ以内に位置する。

【0095】

一実施形態例によれば、光学系３４０は、プログラム命令３６０を含み得、プログラム命令３６０は、メモリ３５４に（かつ／または、ことによると別のデータ記憶媒体に）格納され、また図５に関して説明される機能を含むがそれに限定されるものではない、本明細書に記載の様々な機能を促進するように、画像処理装置３５２によって実行可能である。例えば、画像および／または映像圧縮アルゴリズムが、メモリ３５４に格納され、画像処理装置３５２によって実行され得る。光学系３４０の様々な構成要素が分散型構成要素として示されているが、このような構成要素のいずれも、コンピューティングシステムの望ましい構成に従って物理的に統合され得る、かつ／または分散され得ることを理解されたい。

【0096】

図３Ｃは、カメラ対で配置された２つのカメラ３８２Ａおよび３８２Ｂと、２つの画像処理装置３８４Ａおよび３８４Ｂとを有する光学系の動作の概念図である。この例では、２つのカメラ３８２Ａと３８２Ｂとは、同じ視野（例えば、共通の視野３８６）を有する。他の例では、２つのカメラ３８２Ａと３８２Ｂとは、同様であるが同じではない視野（例えば、重なり合う視野）を有し得る。さらに他の例では、２つのカメラ３８２Ａと３８２Ｂとは、完全に異なる（例えば、重なり合わない）視野を有し得る。前述の通り、２つの画像処理装置３８４Ａおよび３８４Ｂは、センサ対によって捕捉された２つの画像を同時に、またはほぼ同時に処理するように構成され得る。２つのセンサによって作成された画像を２つの異なるプロセッサにルーティングすることにより、画像を並列処理することができる。画像が１つのプロセッサのみにルーティングされた場合、画像は、連続して（すなわち、順々に）処理されている可能性がある。

【0097】

いくつかの例では、２つのカメラ３８２Ａと３８２Ｂとは、異なる露出を伴って構成され得る。２つのカメラのうちの１つは、高光量で動作するように構成され得、もう１つのカメラは、低光量で動作するように構成され得る。両方のカメラが、ある場面の画像を撮る（すなわち、同じような視野の画像を撮る）と、夜間の車のヘッドライトのように明るく見える物体もあれば、夜間の黒ずくめのジョガーのようにぼんやり見える物体もある可能性がある。車両の自律運転の場合、対向車のライトとジョガーの両方を画像化できることが望ましい場合がある。光量の大きな違いにより、ただ１つのカメラでは、両方を画像化することができない可能性がある。しかし、カメラ対には、高光量（車のヘッドライトなど）を画像化することができる第１のダイナミックレンジを有する第１のカメラと、低光量（全身黒ずくめのジョガーなど）を画像化することができる第２のダイナミックレンジを有する第２のカメラとが含まれ得る。他の例も可能である。

【0098】

図４Ａは、車両４０２の画像センサの配置を示す。前述の通り、ルーフマウント式センサユニット４０４は、隣接するセンサ対から４５度離間した状態で装着された８つのセンサ対のカメラを含み得る。さらに、センサ対は、回転式雲台および／またはジンバル式雲台に装着され得る。図４Ａは、車両４０２と、８つのセンサ対の各々に対する関連付けられた視野４０６と、を示す。図４Ａに示すように、各センサ対は、約４５度の視野を有し得る。したがって、８つのセンサ対の一式は、車両の周りの完全３６０度領域を画像化することが可能であり得る。いくつかの例では、センサ対は、４５度よりも広い視野を有し得る。センサの視野がより広い場合、センサによって画像化される領域が重なり合う可能性がある。センサの視野が重なり合う例では、図４Ａの視野４０６として示される線は、視野の重なり合う部分の中心の近似であり得る。

【0099】

図４Ｂは、隣接するセンサに対して４５度の間隔で装着された８つのセンサ対４２４Ａ～４２４Ｈを有する環４２２の配置を示す。センサ環は、車両のルーフマウント式センサユニットに位置し得る。

【0100】

図４Ｃは、画像センサの配置を示す。図４Ｃの車両４４２は、フロントガラスの背後に、例えば、車両４４２のバックミラーの近く（車両の進行方向に向く、フロントガラスの上部の中央の場所など）に装着された、センサユニット４４４を有し得る。画像センサ４４４例は、車両４４２からの前方視ビューを画像化するように構成された３つの画像センサを含み得る。センサユニット４４４の３つの前方視センサは、図４Ｃの破線によって示されるような対応する視野４４６を有し得る。図４Ａに関して述べたのと同様に、センサは、重なり合う視野を有し得、図４Ｃの視野４４６として示される線は、視野の重なり合う部分の中心の近似であり得る。

【0101】

いくつかの例では、車両は、図４Ａ、図４Ｂ、および図４Ｃの両方のセンサを含み得る。したがって、この車両例のセンサの全体的な視野は、図４Ａ、図４Ｂ、および図４Ｃにわたって示されるものであり得る。

【0102】

前述の通り、別の例では、バックミラーの背後に位置する画像センサ４４４のカメラには、第１の解像度および第１の視野角幅を有するカメラ対が含まれ得る。フロントガラスの背後に位置するカメラは、第１の解像度よりも高い解像度と、第１の視野角幅よりも広い視野角幅とを有する第３のカメラを含み得る。例えば、このカメラ対に対しては、狭い視野の視野４４６であリ得、より高い解像度のカメラの前では、広い視野の視野４４６であり得る。いくつかの例では、フロントガラスの背後に高解像度広角カメラしかない可能性がある。

【0103】

図５は、一実装形態例による、方法５００のフローチャートである。方法５００は、ブロック５０２～５１０のうちの１つ以上によって描写されるような１つ以上の動作を含み得る方法例に相当し、ブロック５０２～５１０の各々は、他の可能なシステムの中でも、図１～図４Ｂに示すシステムのいずれかによって実施され得る。一実装形態例において、光学系３５０などのコンピューティングシステムが、外部コンピューティングデバイス３５８と共に図示の動作を行うが、他の実装形態では、１つ以上の他のシステム（例えば、サーバコンピューティングシステム３０６）が動作の一部またはすべてを行うことができる。

【0104】

当業者は、本明細書で説明されるフローチャートが、本開示の特定の実装形態の機能および動作を例証することを理解するであろう。これに関して、フローチャートの各ブロックは、プロセス内の特定の論理機能またはステップを実施するための１つ以上のプロセッサによって実行可能な１つ以上の命令を含む、モジュール、セグメント、またはプログラムコードの一部に相当し得る。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスなど、任意のタイプのコンピュータ可読媒体に格納され得る。いくつかの例では、プログラムコードの一部は、前述のＳＯＣに格納され得る。

【0105】

加えて、各ブロックは、プロセス内の特定の論理機能を行うように配線された回路に相当し得る。当業者であれば分かるように、関与する機能に応じて、機能が、ほぼ同時または逆の順序を含めて、図示したまたは説明したものとは異なる順序で実行され得る、代替の実装形態が、本出願の実装形態例の範囲内に含まれる。例の範囲内で、いずれのシステムも、別のシステムに、以下で説明される動作（または動作の一部）のうちの１つ以上を実行させることができる。

【0106】

上記の考察に沿って、コンピューティングシステム（例えば、光学系３５０、外部コンピューティングデバイス３５８、リモートコンピューティングシステム３０２、またはサーバコンピューティングシステム３０６）は、方法５００によって示されるように動作し得る。図５に示すように、ブロック５０２において、システムは、光学系の複数のセンサに光を与えることによって、各それぞれのカメラセンサに画像データを作成するように動作する。画像データは、それぞれのカメラセンサの視野に対応する。

【0107】

前述の通り、車両は、光を受け取るように構成された複数のセンサを有し得る。いくつかの例では、車両は、１９個のカメラセンサを含み得る。センサは、１６個のセンサが上部マウント式センサユニットに位置するカメラユニットの８つのカメラ対を成し、３つのセンサが車両のフロントガラスの背後に位置するカメラユニットを成す状態で配置され得る。カメラ対は、それぞれ異なる露出を有する２つのカメラを伴って構成され得る。露出が異なる２つのカメラを有することにより、カメラは、視野の明るい範囲と暗い範囲の両方をより正確に画像化することが可能であり得る。カメラセンサの他の可能な配置もあり得る。

【0108】

車両の動作の間、各センサは、それぞれのセンサの視野から光を受け取ることができる。センサは、所定のレートで画像を捕捉し得る。例えば、画像センサは、１秒当たり３０枚または６０枚の画像で、画像を捕捉することができ、または、外部センサもしくは外部事象によって、潜在的に反復的に、画像捕捉が引き起こされ得る。複数の捕捉された画像は、映像を形成し得る。

【0109】

ブロック５０４において、システムは、複数のカメラセンサに結合された複数の画像処理ユニットによって画像データを圧縮することによって動作する。先に述べたように、１９個のカメラの各々が固定フレームレートで画像を捕捉するため、システムによって捕捉されるデータ量が、非常に大量になる可能性がある。一例では、捕捉される各画像が１０メガピクセルの場合、各非圧縮画像のサイズは、約１０メガバイトである。１９個のカメラがあり、各々が、毎秒６０回、１０メガバイトの画像を捕捉する場合、カメラシステム全体は、１秒当たり約１１．５ギガバイトの画像データを捕捉する可能性がある。画像の解像度、ビット深度、圧縮などの画像捕捉システムのパラメータに応じて、画像のサイズは、異なり得る。いくつかの例では、画像ファイルが１０メガバイトよりもはるかに大きい可能性がある。カメラシステムによって捕捉されるデータの量が、格納し、車両の様々な処理構成要素にルーティングするには実際的ではない場合がある。したがって、システムは、画像化システムのデータ使用量を低減するために、ある程度の画像処理および／または圧縮を含み得る。

【0110】

画像化システムのデータ使用量を低減するために、画像センサが、画像処理を行うように構成されたプロセッサに結合されてもよい。画像処理には、画像圧縮が含まれ得る。データが大量であるために、データの格納、処理、および移動で、計算およびメモリを集中的に使用する場合がある。システムの計算およびメモリの必要を低減するために、画像データが、さらなる処理に向けてルーティングされる前に、画像センサの近くに位置する画像処理装置によって圧縮され得る。

【0111】

いくつかの例では、画像処理は、画像センサごとに、カメラによって捕捉された所定枚数の画像のうちの１つを格納することを含み得る。格納されていない残りの画像に対し、画像処理装置は、画像をドロップし、画像内の物体の動きに関係するデータのみを格納し得る。実際には、所定枚数の画像が、６枚であり得、したがって、６枚ごとに１枚が保存され、残りの５枚の画像は、それらの関連する動きデータのみが保存され得る。加えて、画像処理装置が、保存された画像に対してある程度の圧縮を行う可能性があり、システムのデータ要件をさらに低減する。

【0112】

したがって、圧縮後、格納された画像の枚数が、所定のレートに等しい係数によって減る。格納されない画像については、画像において検出された物体の動きデータが格納される。さらに、格納される画像を圧縮することもできる。いくつかの例では、画像は、圧縮画像において物体の検出を可能にするように、圧縮され得る。

【0113】

システムの性能を高めるために、センサ対によって受信された画像を同時に、またはほぼ同時に処理することが望ましい可能性がある。画像を可能な限り同時に処理するためには、センサ対の各センサによって捕捉された画像を異なるそれぞれの画像処理装置にルーティングすることが望ましい可能性がある。そのため、センサ対によって捕捉された２つの画像は、２つの異なる画像処理装置によって同時に、またはほぼ同時に処理され得る。いくつかの例では、画像処理装置は、画像センサに物理的に近接して位置し得る。例えば、車両のセンサドームに位置する４つの画像処理装置が存在し得る。加えて、１つまたは２つの画像処理装置が、前方視画像センサの近くに位置し得る。

【0114】

ブロック５０６において、システムは、複数の画像処理ユニットからコンピューティングシステムに圧縮画像データを通信することによって動作する。画像処理装置は、車両のデータバスに結合され得る。データバスは、処理された画像データを車両の別のコンピューティングシステムに通信し得る。例えば、画像データは、自律車両の動作を制御するように構成されている処理システムによって使用され得る。データバスは、光、同軸、またはツイストペアの通信経路にわたって働き得る。データバスの帯域幅は、処理された画像データをさらなる通信のためにある程度のオーバーヘッドで通信するのに十分であり得る。しかしながら、画像データが処理されなかった場合、データバスは、捕捉された画像データのすべてを通信するのに十分な帯域幅を有しない可能性がある。したがって、本システムは、従来の画像処理システムの処理およびデータ移動の要件を伴わずに、高品質のカメラシステムによって捕捉された情報を活かすことが可能であり得る。

【0115】

データバスは、車両全体にわたって位置する様々な光学系（画像処理装置を含む）を追加のコンピューティングシステムに接続する。追加のコンピューティングシステムは、データストレージと車両制御システムの両方を含み得る。このように、データバスは、画像データが捕捉され、処理される光学系から、自律制御などの自律車両機能を制御することが可能であり得るコンピューティングシステムに圧縮画像データを移動させるように機能する。

【0116】

ブロック５０８において、システムは、コンピューティングシステムのメモリに圧縮画像データを格納することによって動作する。画像データは、ブロック５０４で作成された圧縮フォーマットで格納され得る。メモリは、直に光学系と共に置かれていない車両のコンピューティングシステム内のメモリであり得る。いくつかの追加の例では、リモートコンピュータシステムに位置して、データストレージに使用されるメモリが存在し得る。メモリがリモートコンピュータシステムに位置する例では、車両のコンピューティングユニットは、画像データがリモートコンピューティングシステムに無線で通信されることを可能にするデータ接続を有し得る。

【0117】

ブロック５１０において、システムは、コンピューティングシステムの車両制御プロセッサによって、圧縮画像データに基づいて装置を制御することによって動作する。いくつかの例では、画像データは、自律車両による実行のための車両命令を判定するために車両制御システムによって使用され得る。例えば、車両が、自律モードで動作していて、画像に捕捉された情報または物体に基づいてその動作を変える場合がある。いくつかの例では、画像データは、車両制御命令を決定するために、リモートコンピューティングシステムなどの異なる制御システムに関連付けられてもよい。自律車両は、リモートコンピューティングシステムから命令を受信し、それに応じてその自律動作を変え得る。

【0118】

装置は、捕捉された画像データの物体および／または特徴を認識するコンピューティングシステムに基づいて制御され得る。コンピューティングシステムは、障害物を認識して、それを回避し得る。コンピューティングシステムは、道路標識および／または交通整理信号を認識して、車両の安全な自律運転を可能にすることもできる。コンピューティングシステムは、他の様々な方法で装置を制御することもできる。

【0119】

図６は、一実装形態例による、コンピュータプログラムの概略図である。いくつかの実装形態では、本開示の方法は、機械可読フォーマットの非一時的コンピュータ可読記憶媒体上、または他の非一時的媒体もしくは製造物品上に符号化されたコンピュータプログラム命令として実装され得る。

【0120】

一実装形態例において、コンピュータプログラム製品６００は、信号担持媒体６０２を使用して提供され、信号担持媒体６０２は、１つ以上のプロセッサによって実行されと、図１～図５に関して上記で説明した機能性または機能性の一部を提供し得る１つ以上のプログラミング命令６０４を含み得る。いくつかの例では、信号担持媒体６０２は、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、メモリ、遠隔に格納するための（例えば、クラウド上）構成要素などであるがこれらに限定されるものではない非一時的コンピュータ可読媒体６０６を包含し得る。いくつかの実装形態では、信号担持媒体６０２は、メモリ、読み取り／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどであるがこれらに限定されるわけではないコンピュータ記録可能媒体６０８を包含し得る。いくつかの実装形態では、信号担持媒体６０２は、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などであるがこれらに限定されるわけではない通信媒体６１０を含み得る。同様に、信号担持媒体６０２は、リモートストレージ（例えば、クラウド）に対応し得る。コンピューティングシステムは、情報を送信または受信することを含めて、情報をクラウドと共有し得る。例えば、コンピューティングシステムは、センサまたは別のエンティティから取得した情報を補強するために、クラウドから追加情報を受信し得る。このため、例えば、信号担持媒体６０２は、無線形態の通信媒体６１０によって運ばれ得る。

【0121】

１つ以上のプログラミング命令６０４は、例えば、コンピュータ実行可能命令および／または論理実装式命令であり得る。いくつかの例では、図１のコンピュータシステム１１２、または図３Ａのリモートコンピューティングシステム３０２、および場合によってはサーバコンピューティングシステム３０６、または図３Ｂのプロセッサのうちの１つ、などのコンピューティングデバイスは、コンピュータ可読媒体６０６、コンピュータ記録可能媒体６０８、および／または通信媒体６１０のうちの１つ以上によってコンピュータシステム１１２に伝えられるプログラミング命令６０４に応答して、様々な動作、機能、または作用をもたらすように構成され得る。

【0122】

非一時的コンピュータ可読媒体はまた、互いに遠隔に位置する可能性のある、複数のデータストレージ要素および／またはクラウド間で（例えば、遠隔に）分散する可能性がある。格納された命令の一部またはすべてを実行するコンピューティングデバイスは、図２に図解された車両２００などの車両であり得る。代替的に、格納された命令の一部またはすべてを実行するコンピューティングデバイスは、サーバなどの別のコンピューティングデバイスであり得る。

【0123】

上の発明を実施するための形態は、開示されるシステム、デバイス、および方法の様々な特徴および動作を添付の図を参照しながら述べている。本明細書では様々な態様および実施形態を開示したが、他の態様および実施形態が明らかになってくるであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】

【図6】