特開 2022-141664 調節可能な垂直視野

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022141664

(43)【公開日】2022-09-29

(54)【発明の名称】調節可能な垂直視野

(51)【国際特許分類】

   H04N 5/345 20110101AFI20220921BHJP

   H04N 5/225 20060101ALN20220921BHJP

【ＦＩ】

H04N5/345 400

H04N5/225 300

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022102505

(22)【出願日】2022-06-27

(62)【分割の表示】P 2020524749の分割

【原出願日】2018-12-12

(31)【優先権主張番号】16/214,572

(32)【優先日】2018-12-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/610,339

(32)【優先日】2017-12-26

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ウェンデル，アンドリアス

(72)【発明者】

【氏名】ディットマー，ジェレミー

(57)【要約】

【課題】 センサを含むシステム等を提供する。
【解決手段】 記載された例は、光センサを含む、車両によって使用される画像センサに関連し得る。光センサは、複数の水平行および複数の垂直列に整列された複数のセルを含む。装置は、光センサに装置の外部環境の視野を提供するように構成された光学システムをさらに含む。加えて、システムは、光センサの複数の水平行を１つ以上の有効にされた行と１つ以上の無効にされた行とに分割し、１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって、光センサから画像データを取得し、受信した画像データをメモリに格納するように構成された、処理ユニットを含む。
【選択図】図３Ｃ

【特許請求の範囲】

【請求項1】

光センサであって、前記光センサが、複数の水平行および複数の垂直列に整列された複数のセルを含む、光センサと、
前記光センサに装置の外部環境の全体的な垂直視野および全体的な水平視野を提供するように構成された光学システムであって、各水平行が、前記全体的な垂直視野の対応する部分を提供し、かつ各垂直列が、前記全体的な水平視野の対応する部分を提供する、光学システムと、
処理ユニットであって、
前記光センサの前記複数の水平行を１つ以上の有効にされた行と１つ以上の無効にされた行とに分割することと、
前記１つ以上の無効にされた行の前記セルをサンプリングせずに、前記１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって、前記光センサから画像データを取得することであって、前記画像データが、前記全体的な垂直視野の一部を画像化し、かつ前記垂直視野の前記画像化された部分が、前記１つ以上の有効にされた行によって提供される前記垂直視野の前記１つ以上の部分に対応する、画像データを取得することと、を行うように構成された、処理ユニットと、を備える、装置。

【請求項2】

前記サンプリングされた１つ以上のセルが、ローリングシャッターによるサンプリングに利用可能とされた１つ以上の列にある、請求項１に記載の装置。

【請求項3】

前記プロセッサが、前記装置のメモリに格納された地図データに基づいて、前記１つ以上の有効にされた行および／または前記１つ以上の無効にされた行を選択するように構成されている、請求項１に記載の装置。

【請求項4】

慣性測定ユニット（ＩＭＵ）をさらに備え、前記プロセッサが、前記ＩＭＵからのデータに基づいて、前記１つ以上の有効にされた行および／または前記１つ以上の無効にされた行を選択するように構成されている、請求項１に記載の装置。

【請求項5】

前記プロセッサが、前記外部環境において検出された物体または潜在的な物体に基づいて、前記１つ以上の有効にされた行および／または前記１つ以上の無効にされた行を選択するようにさらに構成されている、請求項１に記載の装置。

【請求項6】

前記１つ以上の有効にされた行の数が、前記光センサの行の総数の半分以下である、請求項１に記載の装置。

【請求項7】

光学システムを介して光センサで受光することであって、前記光センサが、複数の水平行および複数の垂直列に整列された複数のセルを含み、かつ前記光学システムが、前記光センサに前記装置の外部環境の全体的な垂直視野および全体的な水平視野を提供し、各水平行が、前記全体的な垂直視野の対応する部分を提供し、かつ各垂直列が、前記全体的な水平視野の対応する部分を提供する、受光することと、
前記１つ以上の無効にされた行の前記セルをサンプリングせずに、前記１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって、前記光センサから画像データを取得することであって、前記画像データが、前記全体的な垂直視野の一部を画像化し、かつ前記垂直視野の前記画像化された部分が、前記１つ以上の有効にされた行によって提供される前記垂直視野の１つ以上の部分に対応し、プロセッサが、１つ以上の有効にされた行および１つ以上の無効にされた行を判定する、画像データを取得することと、を含む、方法。

【請求項8】

前記サンプリングされた１つ以上のセルが、ローリングシャッターによるサンプリングに利用可能とされた１つ以上の列にある、請求項７に記載の方法。

【請求項9】

前記複数の水平行を分割することが、前記装置の前記メモリに格納された地図データに基づいている、請求項７に記載の方法。

【請求項10】

前記複数の水平行を分割することが、慣性測定ユニットからのデータに基づいている、請求項７に記載の方法。

【請求項11】

前記複数の水平行を分割することが、前記画像データにおいて検出された物体に基づいている、請求項７に記載の方法。

【請求項12】

前記複数の水平行を分割することが、有効にされた行の数を増やすことを含む、請求項７に記載の方法。

【請求項13】

有効にされた行の数が、前記光センサの行の総数の半分以下である、請求項７に記載の方法。

【請求項14】

前記サンプリングが、前記センサの前記複数の垂直列にわたって反復的に行われる、請求項７に記載の方法。

【請求項15】

光センサであって、前記光センサが、複数の行および複数の列に整列された複数のセルを含む、光センサと、
前記光センサに前記装置の外部環境の全体的な視野を提供するように構成された光学システムであって、各行が、垂直視野の対応する部分を提供し、かつ各列が、前記全体的な水平視野の対応する部分を提供する、光学システムと、
処理ユニットであって、
前記光センサの前記複数の行のサブセットを、１つ以上の有効にされた行にすることを可能にすることと、
前記１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって、前記光センサから画像データを取得することであって、前記画像データが、前記垂直視野の一部を画像化し、かつ前記垂直視野の前記画像化された部分が、前記１つ以上の有効にされた行によって提供される前記垂直視野の前記１つ以上の部分に対応する、画像データを取得することと、を行うように構成された、処理ユニットと、を備える、システム。

【請求項16】

慣性測定ユニット（ＩＭＵ）をさらに備え、前記プロセッサが、前記ＩＭＵからのデータに基づいて、前記１つ以上の有効にされた行および／または前記１つ以上の無効にされた行を選択するように構成されている、請求項１５に記載のシステム。

【請求項17】

地図データを格納するように構成されたメモリをさらに備え、前記複数の行を分割することが、前記地図データに基づいている、請求項１５に記載のシステム。

【請求項18】

車両をさらに備える、請求項１５に記載のシステム。

【請求項19】

行の数が列の数より多い、請求項１５に記載のシステム。

【請求項20】

前記プロセッサが、前記外部環境において検出された物体または潜在的な物体に基づいて、前記１つ以上の有効にされた行および／または前記１つ以上の無効にされた行を選択するようにさらに構成されている、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年１２月２６日に提出された米国仮特許出願第６２／６１０，３３９号の優先権を主張する２０１８年１２月１０日に提出された米国特許出願第１６／２１４，５７２号の優先権を主張し、その内容全体は、参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

車両は、任意の車輪付きの動力車両であり得、車、トラック、オートバイ、バスなどを含み得る。車両は、人および物品の輸送、ならびに多くの他の用途などの様々なタスクに利用され得る。

【0003】

一部の車両は、部分的または完全に自律型である場合がある。例えば、車両が自律モードにある場合、車両動作の運転面の一部またはすべては、自律車両システム（すなわち、自律車両の制御を容易にするために個別または集合的に機能する任意の１つ以上のコンピュータシステム）によって操作することができる。このような場合、オンボードおよび／またはサーバネットワークに位置付けられたコンピューティングデバイスは、運転ルートの計画、車両の感知態様、車両の環境の感知、ならびにステアリング、スロットル、およびブレーキなどの運転構成要素の制御などの機能を実行するように動作可能であり得る。このため、自律車両は、車両動作の様々な態様における人間の相互作用の必要性を低減または排除し得る。

【発明の概要】

【0004】

一態様では、本出願は装置を説明する。装置は、光センサを含む。光センサは、複数の水平行および複数の垂直列に整列された複数のセルを含む。装置は、装置の外部環境の全体的な垂直視野および全体的な水平視野を有する光センサを提供するように構成された光学システムをさらに含む。各水平行は、全体的な垂直視野の対応する部分を提供し、各垂直列は、全体的な水平視野の対応する部分を提供する。加えて、システムは、光センサの複数の水平行を１つ以上の有効にされた行と１つ以上の無効にされた行に分割するように構成された処理ユニットを含む。処理ユニットはまた、１つ以上の無効にされた行のセルをサンプリングすることなく、１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって、光センサから画像データを取得するように構成されており、ここで、画像データは全体的な垂直視野の一部を画像化する。垂直視野の画像化された部分は、１つ以上の有効にされた行によって提供される垂直視野の１つ以上の部分に対応する。加えて、処理ユニットは、受信した画像データを装置のメモリに格納するように構成されている。

【0005】

別の態様では、本出願は、光学システムを動作させる方法を説明する。本方法は、光学システムのセンサに光を提供することを含む。センサは、複数の水平行および複数の垂直列に整列した複数のセルを含み、センサは、装置の外部環境の全体的な垂直視野および全体的な水平視野を備えて構成される。各水平行は、全体的な垂直視野の対応する部分を提供し、各垂直列は、全体的な水平視野の対応する部分を提供する。本方法はまた、光センサの複数の水平行の１つ以上の列を選択することを含む。本方法は、光センサが、選択された１つ以上の行の１つ以上のセルから画像データを提供することを可能にすることをさらに含む。加えて、本方法は、有効な光センサから画像データを受信することを含み、画像データは、全体的な垂直視野の一部を画像化し、垂直視野の画像化された部分は、選択された１つ以上の行によって提供される垂直視野の１つ以上の部分に対応する。さらに、本方法は、受信した画像データを装置のメモリに格納することを含む。

【0006】

さらに別の態様では、本出願は、コンピューティングシステムのプロセッサによって実行されるとき、コンピューティングシステムに動作を行わせる命令を格納した非一時的なコンピュータ可読媒体を含む製造物品を説明する。動作は、光学システムのセンサに光を提供することを含み得る。センサは、複数の水平行および複数の垂直列に整列した複数のセルを含み、センサは、装置の外部環境の全体的な垂直視野および全体的な水平視野を備えて構成される。各水平行は、全体的な垂直視野の対応する部分を提供し、各垂直列は、全体的な水平視野の対応する部分を提供する。動作はまた、光センサの複数の水平行の１つ以上の行を選択することを含む。動作は、光センサが、選択された１つ以上の行の１つ以上のセルから画像データを提供することを可能にすることをさらに含む。加えて、動作は、有効な光センサから画像データを受信することを含み、画像データは、全体的な垂直視野の一部を画像化し、垂直視野の画像化された部分は、選択された１つ以上の行によって提供される垂直視野の１つ以上の部分に対応する。さらに、動作は、受信した画像データを装置のメモリに格納することを含む。

【0007】

上記の概要は、単に例証であり、多少なりとも限定することを意図するものではない。上記の例証的な態様、実装形態、および特徴に加えて、さらなる態様、実装形態、および特徴が、図および以下の詳細な説明を参照することによって明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】実装形態例による、車両を図解する機能ブロック図である。

【図2】実装形態例による、車両の物理的構成の概念図である。

【図3A】実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。

【図3B】例示的なカメラシステムの構成要素例を示す簡略ブロック図である。

【図3C】例示的な装置の画像化動作の概念図である。

【図4】従来の画像センサを図解する。

【図5】実装形態例による、例示的な画像センサを図解する。

【図6】実装形態例による、例示的な画像センサを図解する。

【図7】実装形態例による、例示的な画像センサを図解する。

【図8】実装形態例による、方法のフローチャートである。

【図9】実装形態例による、コンピュータプログラムの概略図である。

【発明を実施するための形態】

【0009】

本明細書で、例示的な方法およびシステムについて説明する。「例」、「例示的」、および「例証的」という単語は、本明細書では「例、事例、または例証として機能する」ことを意味するために使用されることを理解されたい。「例」、「例示的」、または「例証的」であるとして本明細書で説明される実装形態または特徴は、必ずしも他の実装形態または特徴よりも好ましいまたは有利であると解釈されるべきではない。本明細書で説明される実装形態の例は、限定することを意味するものではない。本明細書で概して説明され、かつ図に例証されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計することができ、そのすべてが本明細書で明示的に企図されることは容易に理解されよう。加えて、本開示では、他に特定されない限り、および／または特定の文脈が他に明確に指示しない限り、用語「１つ（ａ）」または「１つ（ａｎ）」は少なくとも１つを意味し、用語「その（ｔｈｅ）」は少なくとも１つを意味する。なおさらに、「有効」という用語は、アクティブおよび／または機能することを意味する場合があり、必ずしもオンにするための積極的なアクションを必要としない。同様に、「無効」という用語は、非アクティブおよび／または機能しないことを意味する場合があり、必ずしもオフにするための積極的なアクションを必要としない。

【0010】

さらに、図に示されている特定の配置は、限定的なものと見なされるべきではない。他の実装形態は、所与の図に示される各要素のより多くまたはより少ないものを含み得ることを理解されたい。さらに、例証された要素のいくつかは、組み合わせるか、または省略されてもよい。さらにまた、実装形態例は、図に例証されていない要素を含んでもよい。

【0011】

実際に、自律または半自律の車両システムは、車両の環境を表すデータを使用して物体を識別し得る。次に、車両システムは、車両に特定の動作をするように命令するなど、別の動作を行うための基礎として物体の識別を使用し得る。例えば、物体が一時停止の標識である場合、車両システムは、一時停止の標識の前に減速して停止するように車両に命令し得、または、物体が道路の真ん中にいる歩行者である場合、車両システムは、歩行者を避けるように車両に命令し得る。

【0012】

一部のシナリオでは、車両がカメラを使用して車両の周囲の環境を画像化する場合がある。環境の画像化は、物体の識別および／またはナビゲーションに使用され得る。光学カメラは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサなどの画像センサ（すなわち、光センサ）を有し得る。光センサは、行および列に構成された複数のセンサセルを含み得る。画像データを捕捉するために、センサのセルをサンプリングして画像データを取得し得る。光センサのセルは、複数の水平行および複数の垂直列に整列されている。光センサは、光学システム（例えば、レンズ）を介して環境から光を受け取り得る。光学システムは、環境の全体的な垂直視野および全体的な水平視野を光センサに提供する。

【0013】

光センサは、ローリングシャッターで構成される場合がある。ローリングシャッターは、概して、光センサを反復的にサンプリングして画像データを取得する。光センサからのデータは、画像、複数の画像、またはビデオを形成し得る。例えば、従来の画像センサでは、ローリングシャッターは一度に光センサの１行のセルを反復的にサンプリングし得る。ローリングシャッターを有する従来の画像センサをサンプリングする場合、センサの視野内の高速の物体が歪んで見える場合がある。このような歪みは、反復サンプリングによって引き起こされる。セルのラインは反復的にサンプリングされるため、画像化されている物体は各サンプリング間にわずかに移動する。したがって、各ラインは前のラインよりも少し遅れた時間にサンプリングされる。それぞれのラインをサンプリングする際の遅延のために、水平方向の動きを有する物体は水平方向のスキューを有する場合がある。例えば、センサの視野を横切って移動する車両は、水平スキューおよび垂直圧縮（または拡張）を有する場合があり、それは車両を歪める。このスキューは、画像内の物体の水平方向の位置に基づく処理に対して面倒となり得る。

【0014】

本開示の光センサは、センサのセルを垂直列（例えば、車両の方向に対して垂直）でサンプリングするローリングシャッターでサンプリングされ得る。光センサを行ではなく列でサンプリングすることによって、反復サンプリングによって引き起こされる歪みが軽減され得る。水平方向のスキューではなく、移動する物体の垂直方向のスキューおよび水平方向の圧縮（または拡張）が存在する場合がある。場合によっては、水平方向の圧縮または拡張を有する方が、従来のセンサの水平方向のスキューよりも望ましい場合がある。

【0015】

加えて、画像センサは、１つ以上の画像処理タスクを行うように構成されたプロセッサに結合されてもよい。画像処理には、画像圧縮、物体認識、ナビゲーションルーティングなどが含まれ得る。光センサを使用して画像データを捕捉するとき、画像データは比較的大量のデータを消費し得る。この大量の画像データのために、画像データのストレージ、処理、および移動は、計算およびメモリを集中的に使用する場合がある。システムの計算およびメモリの必要性を減らすために、センサの一部のみを任意の所与の時間に有効にしてもよい。これを達成するために、センサのある領域を無効にして、センサセルのサンプリングが有効な部分でのみ行われてもよい。光学システムに結合されたプロセッサは、光センサの複数の水平行（または垂直列）を１つ以上の有効にされた行と１つ以上の無効にされた行（または１つ以上の有効にされた列と１つ以上の無効にされた列）に分割してもよい。例えば、センサのセルの半分が、任意の所与の時間に有効にされ得る。無効にされた部分は、センサの１つ以上の領域を含み得る。例えば、無効にされた領域は、センサの頂部または底部にある複数の行であってもよい。デフォルトモードでは、センサの行の頂部２５％およびセンサの行の底部２５％が無効になっていてもよい。これにより、行の中央の５０％が有効なままになる。

【0016】

プロセッサは、１つ以上の無効にされた行のセルをサンプリングすることなく、ローリングシャッターを介して１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって、光センサから画像データを取得し得る。光学システムによって捕捉された画像データは、１つ以上の有効にされた行によって提供される垂直視野の１つ以上の部分に対応する全体的な垂直視野の一部を画像化する。すなわち、画像データは、画像センサの有効にされた行からのみ作成され得、したがって、全体的な視野のサブセットのみが画像化され得る。

【0017】

有効にされた光センサの領域は、光センサの全体的な視野の一部に対応し得る。光センサの頂部および／または底部を無効にすることによって、視野は、完全に有効にされたセンサの完全な画像であったであろうものの一部のみを含有するように縮小され得る。いくつかの例では、プロセッサは、センサの有効にされた部分を調整するようにさらに構成され得る。プロセッサは、センサの追加の行を有効または無効にして、画像化される視野を変更し得る。実際に、これにより視野を上方または下方の方向に調整したり、視野を拡大または縮小したりできる。有効にされた部分は、デフォルトの視野とは異なる視野を捕捉するように調整され得る。例えば、車両が停止信号に近づくとき、停止信号が通常より高い場所に取り付けられている場合がある。それに応答して、プロセッサは、視野が停止信号を捕捉するようにセンサの有効にされる行を調整し得る。

【0018】

プロセッサは、多くの異なる方法で有効にされるセンサの部分を調整し得る。いくつかの例では、有効にされるセンサの部分は、装置のメモリに格納されている地図データに基づいている。例えば、地図データは、道路の勾配の変化を示したり、道路近くの物体が通常よりも高いまたは低い位置にあり得ることを示したりする場合があり、プロセッサは、センサの有効にされた領域を応答的に調整して、道路の一部をセンサの視野内に維持するか、または物体がセンサの視野内にあることを確実にし得る。別の例では、システムは慣性測定ユニット（ＩＭＵ）を含み得、有効にされるセンサの部分は、ＩＭＵからのデータに基づき得る。例えば、ＩＭＵデータは、道路の勾配の変化を示し得、プロセッサは、センサの有効にされた領域を応答的に調整して、道路の一部をセンサの視野内に維持し得る。いくつかのさらなる例では、センサの一部は、画像データで検出された物体に基づいて有効にされる。例えば、道路標識が、センサの視野内に部分的に位置付けされる場合があり、プロセッサは、道路標識全体が視野内に位置付けされるように、有効にされた領域を調整し得る。

【0019】

ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態をとり得る。しかしながら、例示的なシステムはまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、およびロボットデバイスなどの、他の車両に実装され得るか、または他の車両の形態をとり得る。他の車両も同じく可能である

【0020】

ここで図を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両１００を図解する機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両１００は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。いくつかの実装形態では、車両１００はまた、運転者が車両１００の動作を制御することを可能にするサブシステムを含み得る。

【0021】

図１に示すように、車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１つ以上の周辺機器１０８、電源１１０、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６などの様々なサブシステムを含み得る。他の例では、車両１００は、各々複数の要素を含むことができるより多いまたはより少ないサブシステムを含んでもよい。車両１００のサブシステムおよび構成要素は、様々な方法で相互接続され得る。加えて、本明細書で説明する車両１００の機能は、追加の機能的または物理的構成要素に分割するか、または実装形態内でより少ない機能的もしくは物理的構成要素に組み合わせることができる。

【0022】

推進システム１０２は、車両１００に対して動力付き運動を提供するように動作可能な１つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン／モータ１１８、エネルギー源１１９、トランスミッション１２０、および車輪／タイヤ１２１を含み得る。例えば、エンジン／モータ１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの１つまたは組み合わせに対応し得る。例えば、いくつかの実装形態では、推進システム１０２は、ガソリンエンジンおよび電気モータなどの複数のタイプのエンジンおよび／またはモータを含み得る。

【0023】

エネルギー源１１９は、完全にまたは部分的に、車両１００の１つ以上のシステム（例えば、エンジン／モータ１１８）に動力を供給し得るエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および／または他の電力源に対応することができる。いくつかの実装形態では、エネルギー源１１９は、燃料タンク、電池、コンデンサ、および／またはフライホイールの組み合わせを含み得る。

【0024】

トランスミッション１２０は、エンジン／モータ１１８からの機械動力を、車輪／タイヤ１２１および／または車両１００の他の可能なシステムに伝達し得る。したがって、トランスミッション１２０は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、１つ以上の車輪／タイヤ１２１に接続する車軸を含み得る。

【0025】

車両１００の車輪／タイヤ１２１は、例示的な実装形態内で様々な構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、または自動車／トラックの四輪車の形式で存在し得る。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属およびゴムなどの異なる材料で存在することができる。

【0026】

センサシステム１０４は、他の可能なセンサの中でも、全地球測位システム（ＧＰＳ）１２２、慣性測定ユニット（ＩＭＵ）１２４、レーダ１２６、レーザ距離計／ＬＩＤＡＲ１２８、カメラ１３０、ステアリングセンサ１２３、およびスロットル／ブレーキセンサ１２５などの様々なタイプのセンサを含むことができる。いくつかの実装形態では、センサシステム１０４はまた、車両１００の内部システムを監視するように構成されたセンサ（例えば、Ｏ₂モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗）を含み得る。

【0027】

ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含み得る。ＩＭＵ１２４は、１つ以上の加速度計および／またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両１００の位置および向きの変化を感知し得る。例えば、ＩＭＵ１２４は、車両１００が静止しているかまたは動いている間に車両１００のピッチおよび偏揺れを検出することができる。

【0028】

レーダ１２６は、物体の速さおよび進行方向を含めて、無線信号を使用して、車両１００のローカル環境内の物体を感知するように構成された１つ以上のシステムを表すことができる。したがって、レーダ１２６は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実装形態では、レーダ１２６は、車両１００の周囲環境の測定値を取得するように構成された装着可能なレーダシステムに対応し得る。

【0029】

レーザ距離計／ＬＩＤＡＲ１２８は、他のシステム構成要素の中でも、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出を使用）または非コヒーレント検出モードで動作し得る。カメラ１３０は、車両１００の環境の画像を捕捉するように構成された１つ以上のデバイス（例えば、スチルカメラまたはビデオカメラ）を含み得る。

【0030】

ステアリングセンサ１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実装形態では、ステアリングセンサ１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサ１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両１００の車輪の角度の組み合わせ（またはサブセット）を測定するように構成され得る。

【0031】

スロットル／ブレーキセンサ１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル／ブレーキセンサ１２５は、アクセルペダル（スロットル）およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル（スロットル）の角度および／もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル／ブレーキセンサ１２５はまた、エンジン／モータ１１８（例えば、バタフライバルブまたはキャブレタ）にエネルギー源１１９のモジュレーションを提供する物理的メカニズムの一部を含み得る、車両１００のスロットルボディの角度を測定してもよい。加えて、スロットル／ブレーキセンサ１２５は、車両１００のロータ上の１つ以上のブレーキパッドの圧力、またはアクセルペダル（スロットル）およびブレーキペダルの角度の組み合わせ（またはサブセット）、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、ならびに少なくとも１つのブレーキパッドが車両１００のロータに加える圧力、を測定し得る。他の実装形態では、スロットル／ブレーキセンサ１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。

【0032】

制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサ融合アルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／経路探索システム１４２、および障害物回避システム１４４など、車両１００をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の進行方向を調整するように動作可能であり得、スロットル１３４は、エンジン／モータ１１８の動作スピードを制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを含み得る。いくつかの実施態様では、ブレーキユニット１３６は、車両１００のシステムまたはシステム（複数）によるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。

【0033】

センサ融合アルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実装形態では、センサ融合アルゴリズム１３８は、個々の物体および／もしくは特徴の評価、特定の状況の評価、ならびに／または所与の状況内の潜在的な影響の評価など、入ってくるセンサデータに基づくアセスメントを提供し得る。

【0034】

コンピュータビジョンシステム１４０は、物体、環境物体（例えば、停止信号、道路の境界など）、および障害物を判定しようとする際に画像を処理および分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム１４０は、物体認識、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体の速さを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。

【0035】

ナビゲーション／経路探索システム１４２は、車両１００の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション／経路探索システム１４２は、他の情報源の中でもとりわけ、センサ融合アルゴリズム１３８、ＧＰＳ１２２、および地図からのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサデータに基づいて潜在的な障害物を評価し、車両１００のシステムに潜在的な障害物を回避または別の方法で通り抜けさせ得る。

【0036】

図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、および／またはスピーカ１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザがユーザインターフェース１１６と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザに情報を提供し得る。ユーザインターフェース１１６はまた、タッチスクリーン１４８を介してユーザからの入力を受け入れ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。

【0037】

無線通信システム１４６は、１つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、またはＷｉＭＡＸもしくはＬＴＥなどの４Ｇセルラ通信を使用することができる。あるいは、無線通信システム１４６は、ＷｉＦｉまたは他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、またはＺｉｇＢｅｅを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両および／または道路沿いの給油所間の公共および／または私的データ通信を含み得る１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。

【0038】

車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実装形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された１つ以上の電池を含み得る。車両１００はまた、他のタイプの電源を使用してもよい。例示的な実装形態では、電源１１０およびエネルギー源１１９は、単一のエネルギー源に統合されてもよい。

【0039】

車両１００はまた、そこに記載されている動作などの動作を行うためのコンピュータシステム１１２を含み得る。したがって、コンピュータシステム１１２は、データストレージ１１４などの非一時的なコンピュータ可読媒体に格納された命令１１５を実行するように動作可能な少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサを含むことができる）を含み得る。いくつかの実装形態では、コンピュータシステム１１２は、車両１００の個々の構成要素またはサブシステムを分散して制御するように機能し得る複数のコンピューティングデバイスを表してもよい。

【0040】

いくつかの実装形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するためにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データストレージ１１４は、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８のうちの１つ以上にデータを送信する、データを受信する、相互作用する、および／または制御する命令を含む追加の命令も含み得る。

【0041】

命令１１５に加えて、データストレージ１１４は、他の情報の中でもとりわけ、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、車両１００およびコンピュータシステム１１２によって使用され得る。

【0042】

車両１００は、車両１００のユーザに情報を提供するか、または車両１００のユーザから入力を受信するためのユーザインターフェース１１６を含み得る。ユーザインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツおよび／またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカ１５２などの周辺機器１０８のセット内の１つ以上の入力／出力デバイスを含むことができる。

【0043】

コンピュータシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および制御システム１０６）から、ならびにユーザインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御し得る。例えば、コンピュータシステム１１２は、推進システム１０２および制御システム１０６によって生成された出力を推定するために、センサシステム１０４からの入力を利用してもよい。実装形態に応じて、コンピュータシステム１１２は、車両１００およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実装形態では、コンピュータシステム１１２は、センサシステム１０４から受信した信号に基づいて、車両１００の一部またはすべての機能を無効にし得る。

【0044】

車両１００の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素と相互接続された方法で機能するように構成され得る。例えば、例示的な実装形態では、カメラ１３０は、自律モードで動作している車両１００の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム１４０は、道路の複数の画像に基づいて、傾斜（勾配）または他の特徴を認識することができ得る。加えて、ＧＰＳ１２２とコンピュータビジョンシステム１４０によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ１１４に格納された地図データと共に使用され得る。さらに、レーダユニット１２６はまた、車両の周囲についての情報を提供し得る。

【0045】

言い換えると、様々なセンサ（入力指標センサおよび出力指標センサと呼ぶことができる）とコンピュータシステム１１２との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。

【0046】

いくつかの実装形態では、コンピュータシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両１００は、車両の視野内の物体を感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム１１２は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離および方向情報を判定し得る。コンピュータシステム１１２はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。

【0047】

図１は、車両１００の様々な構成要素、すなわち、無線通信システム１４６、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６を車両１００に統合されているものとして示しているが、これらの構成要素のうちの１つ以上は、車両１００とは別個に取り付けまたは関連付けることができる。例えば、データストレージ１１４は、部分的または完全に、車両１００とは別個に存在することができる。したがって、車両１００は、別個にまたは一緒に位置付けられ得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で一緒に通信可能に結合され得る。

【0048】

図２は、図１を参照して説明された車両１００の１つの可能な物理的構成を表し得る車両２００の例示的な物理的構成を示す。実装形態に応じて、車両２００は、他の可能な構成要素の中でもとりわけ、センサユニット２０２、無線通信システム２０４、ラジオユニット２０６、デフレクタ２０８、およびカメラ２１０を含み得る。例えば、車両２００は、図１に記載された構成要素のうちの一部またはすべての要素を含み得る。車両２００は図２では自動車として示されているが、車両２００は、他の可能な例の中でもとりわけ、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業用車両などの例内の他の構成を有することができる。

【0049】

センサユニット２０２は、車両２００の周囲環境の情報を捕捉するように構成された１つ以上のセンサを含み得る。例えば、センサユニット２０２は、他の可能なタイプのセンサの中でもとりわけ、カメラ、レーダ、ＬＩＤＡＲ、距離計、無線デバイス（例えば、Ｂｌｕｅｔｏｏｔｈおよび／または８０２．１１）、および音響センサの任意の組み合わせを含み得る。いくつかの実装形態では、センサユニット２０２は、センサユニット２０２内のセンサの向きを調整するように動作可能な１つ以上の可動マウントを含み得る。例えば、可動マウントは、車両２００の周りの各方向から情報を取得するためにセンサをスキャンすることができる回転プラットフォームを含み得る。センサユニット２０２の可動マウントはまた、特定の範囲の角度および／または方位角内の走査方式で可動であってもよい。

【0050】

いくつかの実装形態では、センサユニット２０２は、センサユニット２０２が自動車のルーフの頂上に取り付けられることを可能にする機械的構造を含み得る。加えて、例の範囲内で他の取り付け場所も可能である。

【0051】

無線通信システム２０４は、図２に示されるように、車両２００に対して相対的な場所を有し得るが、実装形態内で異なる場所を有することもできる。無線通信システム２００は、他の外部または内部デバイスと通信し得る１つ以上の無線送信機および１つ以上の受信機を含み得る。例えば、無線通信システム２０４は、他の可能なエンティティの中でもとりわけ、ユーザのデバイス、他の車両、および道路要素（例えば、標識、交通信号機）と通信するための１つ以上のトランシーバを含み得る。したがって、車両２００は、専用狭域通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、および高度道路交通システムを対象とする他の提案された通信規格などの通信を容易にするための１つ以上の車両通信システムを含み得る。

【0052】

カメラ２１０は、車両２００のフロントガラス上の場所など、車両２００に対して様々な位置を有し得る。そのようにして、カメラ２１０は、車両２００の環境の画像を捕捉し得る。図２に図示されるように、カメラ２１０は、車両２００に対して前向きのビューから画像を捕捉し得るが、カメラ２１０の他の取り付け場所（可動マウントを含む）および視野角が、実装形態内で可能である。いくつかの例では、カメラ２１０は、１つ以上の可視光カメラに対応し得る。代わりに、または追加して、カメラ２１０は、赤外線感知機能を含み得る。カメラ２１０はまた、調整可能な視野を提供し得る光学系を含み得る。

【0053】

図３Ａは、実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間でも発生し得る。

【0054】

車両２００は、場所間で乗客または物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の１つ以上の形態を取り得る。場合によっては、車両２００は、制御システムがセンサ測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両２００は、乗客の有無にかかわらずナビゲートし得る。その結果、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。

【0055】

リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関連する情報を受信し、（ｉｉ）人間のオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および（ｉｉｉ）応答を車両２００に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの、様々な形態を取り得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。

【0056】

リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム３０２は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実装形態では、リモートコンピューティングシステム３０２はまた、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースを含み得る。他の例も可能である。

【0057】

ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。

【0058】

リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレータが車両２００の乗客または運転者と相互作用することができる車両２００内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであってもよい。

【0059】

いくつかの実装形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加または代替として、車両２００によって（すなわち、車両２００の任意のシステム（複数可）またはサブシステム（複数可）によって）行われ得る。言い換えれば、車両２００は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。

【0060】

サーバコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信、格納、判定、および／または送信するように構成された任意のコンピューティングデバイスを表し得る。かくして、サーバコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作（複数可）またはそのような動作（複数可）の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実装形態では、サーバコンピューティングシステム３０６を利用できるが、他の実装形態では利用できない。

【0061】

サーバコンピューティングシステム３０６は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。

【0062】

上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。

【0063】

上記の議論に沿って、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、またはおそらくサーバコンピューティングシステム３０６、あるいは車両２００にローカルなコンピューティングシステム）は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。一般に、少なくとも１つのコンピューティングシステムが画像を分析することができ、場合によっては自律車輌を制御する。

【0064】

いくつかの実装形態では、自律動作を容易にするために、車両（例えば、車両２００）は、車両が動作する環境内の物体を表すデータ（本明細書では「環境データ」とも呼ばれる）を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。

【0065】

一例では、カメラが、静止画像および／またはビデオを捕捉するように構成され得る。いくつかの実装形態では、車両は、異なる方向に位置決めされた２つ以上のカメラを有する場合がある。また、いくつかの実装形態では、カメラは、異なる方向で画像および／またはビデオを捕捉するために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、捕捉された画像およびビデオをメモリに格納するように構成され得る。捕捉された画像および／またはビデオは、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。

【0066】

別の例では、レーダユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム（または処理システム）が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実装形態では、車両は、異なる方向に２つ以上のレーダを有する場合がある。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データである場合がある。

【0067】

別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号（例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光）を送信するように構成され得る。レーザ距離計は、反射された電磁（例えば、レーザ）信号を捕捉することができ得る。捕捉された反射電磁信号は、測距システム（または処理システム）が様々な物体までの距離を判定することを可能にし得る。測距システムはまた、対象物体の速度または速さを判定することができ、それを環境データとして格納することができる。

【0068】

加えて、一例では、マイクロフォンが、車両を取り巻く環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音には、緊急車両のサイレンや他の車両の音が含まれる場合がある。例えば、マイクロフォンは緊急車両のサイレンの音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別でき得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別でき得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。

【0069】

さらに別の例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、および／または他の無線技術信号の形態を取り得る電磁信号を送信するように構成され得る。第１の電磁放射信号は、ラジオユニットに位置付けられた１つ以上のアンテナを介して送信され得る。さらに、第１の電磁放射信号は、多くの異なる無線信号モードのうちの１つで送信されてもよい。しかしながら、いくつかの実装形態では、自律車両の近くに位置するデバイスからの応答を要求する信号モードで第１の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することができ得、この伝達された情報を環境データの一部として使用し得る。

【0070】

いくつかの実装形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることができ得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実装形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。

【0071】

自律モードで動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦したり触れたりする必要がなく）、指定された目的地まで運転することができ得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避する、交通法規に従うなどのために速度を変更する場合がある。車両の処理システムが車両の近くの物体を識別すると、車両は速度を変更したり、別の方法で動きを変えたりすることができ得る。

【0072】

車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ（またはより強力なコンピュータ）に、（ｉ）物体が実際に環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか）、（ｉｉ）車両の物体の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を修正する、および／または（ｉｖ）自律車両に対して補足的な命令を提供する（または現在の命令を変更する）などの、１つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する（例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する）ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。

【0073】

これを容易にするために、車両は、環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも１つの物体を判定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて環境の様々な物体を検出するように構成され得る。例えば、一実装形態では、プロセッサは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、街路標識、他の車両、他の車両のインジケータ信号、および捕捉された環境データで検出された他の様々な物体が含まれ得る。

【0074】

検出信頼度は、判定された物体が環境内で正しく識別されているか、または環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データの画像データ内の物体の物体検出を行い、閾値を超える検出信頼度を有する物体を識別することができないことに基づいて、少なくとも１つの物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出または物体認識の結果が決定的でない場合、検出信頼度が低いか、または設定された閾値を下回っている場合がある。

【0075】

車両は、環境データのソースに応じて、様々な方法で環境の物体を検出し得る。いくつかの実装形態では、環境データはカメラから来て、画像またはビデオデータであり得る。他の実装形態では、環境データはＬＩＤＡＲユニットから来る場合がある。車両は、捕捉された画像またはビデオデータを分析して、画像またはビデオデータ内の物体を識別し得る。方法および装置は、環境の物体の存在について画像および／またはビデオデータを監視するように構成され得る。他の実装形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境の物体を識別するように構成され得る。

【0076】

いくつかの実装形態では、物体を検出するために車両が使用する技法は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に位置付けられたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実装形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色の物体を、建設関連の街路標識として検出するように構成されてもよい。加えて、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。

【0077】

さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実装形態では、検出されたすべての物体について、信頼度閾値が同じであってもよい。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。

【0078】

検出された物体に関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実装形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応する場合がある。他の実装形態では、車両は、検出された物体が存在しないかのように反応することがある。

【0079】

車両は、環境の物体を検出すると、特定の検出された物体に関連付けられた信頼度も計算することができる。信頼度は、実装形態に応じて様々な方法で計算され得る。一例では、環境の物体を検出するとき、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる他の実装形態では、車両は、環境データの数学的分析を使用して、物体に関連付けられた信頼度を判定し得る。

【0080】

物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上述のように、リモートコンピューティングシステムは、様々な形態を取り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイス、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなど、であってもよいが、それによって人間のオペレータが車両の乗客または運転者と相互作用することができる。追加的または代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に位置付けされたリモートコンピュータ端末または他のデバイスであってもよい。

【0081】

リモートアシスタンスの要求には、画像データ、オーディオデータなどの物体を含む環境データが含まれ得る。車両は、ネットワーク（例えば、ネットワーク３０４）を介してリモートコンピューティングシステムに環境データを送信し得、いくつかの実装形態では、サーバ（例えば、サーバコンピューティングシステム３０６）を介して送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。

【0082】

いくつかの実装形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられてもよく、車輌は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でもとりわけ、車両を停止すること、車両を人間制御モードに切り替えること、車両の速度（例えば、速さおよび／または方向）を変更することの形態を取り得る。

【0083】

他の実装形態では、車両が閾値を満たすか、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る（例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出された物体に従って動作するのと同時に（または後で）リモートアシスタンスを要求するように構成され得る。

【0084】

図３Ｂは、例示的なカメラシステム３５０の構成要素例を表す簡略ブロック図を示す。この例示的なカメラシステム３５０は、カメラ１３０に対応し得る。

【0085】

カメラシステム３５０は、少なくとも１つのプロセッサ３５２およびシステムメモリ３５４を含み得る。例示的な実施形態では、カメラシステム３５０は、プロセッサ３５２およびシステムメモリ３５４、ならびにカメラシステム３５０の他の構成要素を通信可能に接続するシステムバス３５６を含み得る。所望の構成に応じて、プロセッサ３５２は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含むがこれらに限定されない任意のタイプのプロセッサであり得る。さらに、システムメモリ３５４は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組み合わせを含むがこれらに限定されない、現在知られている、または今後開発される任意のタイプのメモリであり得る。いくつかの例では、システムメモリ３５４は、画像データを一時的に格納するためのメモリキャッシュであり得る。加えて、カメラシステム３５０は、外部メモリ３５８に結合されてもよい。外部メモリ３５８は、自律車両の異なる部分に位置付けされた、および／またはリモートコンピュータサーバに位置付けされたメモリであり得る。外部メモリ３５８は、画像の長期記憶および／または処理のために使用され得る。例えば、外部メモリ３５８内の画像データは、自律車両のナビゲーションシステムによって使用され得る。

【0086】

例示的なカメラシステム３５０は、様々な他の構成要素も同様に含み得る。例えば、カメラシステム３５０は、画像センサ３５６を含む。画像センサ３５６は、本明細書で説明されるような画像センサであり得る。例えば、画像センサ３５６は、ローリングシャッターを含み得、プロセッサ３５２によって選択的に有効または無効にされる部分を有するように構成され得る。

【0087】

例示的な実施形態によれば、カメラシステム３５０は、システムメモリ３５４（および／または恐らくは別のデータストレージ媒体）に格納され、プロセッサ３５２によって実行可能なプログラム命令３６０を含み得、図８に関して説明される機能を含むがこれらに限定されない、本明細書に記載の様々な機能を容易にし得る。カメラシステム３５０の様々な構成要素が分散した構成要素として示されているが、そのような構成要素のいずれも、コンピューティングシステムの所望の構成に従って物理的に統合および／または分散され得ることを理解されたい。

【0088】

図３Ｃは、光学システム３８２（例えば、レンズ）および画像センサ３８４を含む装置の画像化動作の概念図である。画像センサ３８４は、図３Ｂに示されるカメラシステム３５０などのカメラ内に存在し得る。光学システム３８２は、全体的な視野３８６を画像センサ３８４に提供する。全体的な視野３８６は、垂直視野３８８および水平視野３９０を含む。全体的な視野３８６は、画像センサ３８４が光学システム３８２を介して画像化することができる最大角度範囲に対応する。

【0089】

いくつかの例では、画像センサ３８４の少なくとも一部が無効にされ得る。画像センサ３８４の少なくとも一部が無効にされるとき、視野は、全体的な視野３８６の一部のみとなり得る。一例として、画像センサ３８４の２つの部分が無効にされるとき、画像化される視野３９２、視野３９４Ａの頂部無効にされた部分、および視野３９４Ｂの底部無効にされた部分が存在し得る。視野３９４Ａの頂部無効にされた部分および視野３９４Ｂの底部無効にされた部分は、画像センサ３８４の２つの無効にされた領域に対応し得る。

【0090】

図４は、従来の画像センサ４００を図解する。画像センサ４００は、ＣＭＯＳ画像センサであり得る。従来の画像センサ４００は、センサセル４０４のグリッド４０２を含み得る。センサセル４０４のグリッド４０２は、列４１０および行４１２に配置され得る。いくつかの例では、従来の画像センサ４００は、高さより幅広であり得る（すなわち、水平行よりも垂直列が多い場合）。動作中、センサセル４０４は、光を受け取り、その光を電気信号に変換し得る。電気信号は、それぞれのセンサセルによって受け取られる光の色および強度に対応し得る。

【0091】

画像を形成するために、図１および／または図３Ｂに関して説明されたプロセッサなどのプロセッサは、画像センサ４００のセル４０４のサンプリングを制御し得る。図４に示されるように、画像センサ４００は、一度に１つの行４０６でサンプリングされ得る。この方法でのサンプリングは、ローリングシャッターとして知られている。いくつかの例では、画像センサ４００は、一度に２つ以上の行をサンプリングし得る。画像センサ４００は、反復的にサンプリングされ得、漸次サンプル行４０８を調整し得る。プロセッサは、サンプル行４０６を反復的に増分することによって、センサ４００の行４１２を漸次サンプリングし得る。一部の例では、反復は線形であってもよく、つまり、各行がサンプリングされた後、次の行が続いてサンプリングされる。他の例では、サンプリングは異なる方法で行われてもよい。

【0092】

前述のように、従来の画像センサ４００では、ローリングシャッターは、従来の画像センサ４００を一度にセルの１つの行４０６で反復的にサンプリングし得る。ローリングシャッターを有する従来の画像センサ４００をサンプリングするとき、センサの視野内の高速な物体は歪んで見える場合がある。歪みは、従来の画像センサ４００の反復サンプリングによって引き起こされる。セルのラインは反復的にサンプリングされるため、画像化される物体は各サンプリング間にわずかに移動する。したがって、各ラインは前のラインよりも少し遅れた時間にサンプリングされる。それぞれのラインをサンプリングする際の遅延のため、水平方向の動きを有する物体は水平方向のスキューを有する場合がある。例えば、センサの視野を横切って移動する車両は、水平スキューおよび垂直圧縮（または拡張）を有する場合があり、それは車両を歪める。このスキューは、画像内の物体の位置に基づく処理に対して面倒となり得る。

【0093】

図５は、実装形態例による、例示的な画像センサ５００を図解する。画像センサ５００は、ＣＭＯＳ画像センサであり得、図４の画像センサ４００と同様であり得る。いくつかの例では、画像センサ５００は、幅よりも縦長であり得る（すなわち、垂直列より水平行が多い場合）。画像センサ５００は、同様に、センサセル５０４のグリッド５０２を含み得る。センサセル５０４のグリッド５０２は、列５１０および行５１２に配置され得る。画像センサ５００は、光学システム経由で受光するように構成され得る。動作中、センサセル５０４は、光を受け取り、その光を電気信号に変換し得る。電気信号は、それぞれのセンサセルによって受け取られる光の色および強度に対応し得る。

【0094】

画像を形成するために、図１および／または図３Ｂに関して説明されたプロセッサなどの画像プロセッサは、画像センサ５００のサンプリングを制御し得る。図５に示されるように、画像センサ５００は、一度に１つの列５０６でサンプリングし得る。前述のように、いくつかの例では、画像センサ５００は、一度に１つより多い行（２、４、５、８など）をサンプリングするように構成され得る。図４の画像センサ４００とは異なり、図５の画像センサ５００は、行ではなく列でサンプリングされる。画像センサ５００は、反復的にサンプリングされ得、漸次サンプル列５０８を調整し得る。プロセッサは、サンプル列５１０を反復的に増分することによって、画像センサ５００の列５１０を漸次サンプリングし得る。一部の例では、反復は線形であってもよく、つまり、各行がサンプリングされた後、次の行が続いてサンプリングされる。他の例では、サンプリングは異なる方法で行われてもよい。いくつかの例では、サンプリングは、非順次的な順序で列に対して行われてもよい。

【0095】

図５の画像センサ５００を行５１２ではなく列５１０でサンプリングすることによって、反復サンプリングによって引き起こされる歪みが軽減され得る。このため、図４の従来の画像センサ４００に関して説明されたようなスキューは軽減され得る。水平方向のスキューではなく、図５に関して説明されるサンプリングでは、移動する物体の垂直方向のスキューおよび水平方向の圧縮（または拡張）を有する場合がある。場合によっては、水平方向の圧縮または拡張を有する方が、従来のセンサの水平方向のスキューよりも望ましい場合がある。

【0096】

図６は、実装形態例による、例示的な画像センサ６００を図解する。画像センサ６００は、ＣＭＯＳ画像センサであり得、以前に議論された画像センサと同様であり得る。画像センサ６００は、同様に、センサセル６０４のグリッド６０２を含み得る。センサセル６０４のグリッド６０２は、列６１０および行６１２に配置され得る。以前に議論された画像センサとは異なり、画像センサ６００は、有効にされた領域６０８および少なくとも１つの無効にされた領域の両方を有し得る。図６に示されるように、画像センサ６００は、頂部無効にされた領域６０６Ａおよび底部無効にされた領域６０６Ｂを有する。

【0097】

各水平行は、全体的な垂直視野（例えば、全体的な垂直視野３８８）の対応する部分を提供する。各垂直列は、全体的な水平視野（例えば、水平視野３９０）の対応する部分を提供する。したがって、画像化される視野は、有効にされた領域６０８の行および列によって提供される視野に対応する。

【0098】

画像センサ６００は、光学システム経由で受光するように構成され得る。動作中、光学システムは、すべてのセンサセル６０４を露光し得る。しかしながら、有効にされたセル領域６０８内の有効にされたセルのみが画像データを提供する。

【0099】

様々な例において、有効にされた領域６０８ならびに無効にされた領域６０６Ａおよび６０６Ｂは、異なる方法で定義されてもよい。いくつかの例では、有効にされた領域６０８は、セル６０２が電力供給されている領域として定義され得、無効にされた領域６０６Ａおよび６０６Ｂは、電力供給されていないセル６０２を有する領域として定義され得る。この例では、電力供給されているセルのみが信号出力を生成する。他の例では、有効にされた領域６０８は、プロセッサがセル６０２からデータを捕捉する領域として定義され得る。この例では、プロセッサは、有効にされるように定義されている領域のセルのみを選択的にサンプリングし得る。他の例では、セルを有効または無効にする異なる方法が使用されてもよい。

【0100】

図７は、実装形態例による、例示的な画像センサ７００を図解する。画像センサ７００は、ＣＭＯＳ画像センサであり得、以前に議論された画像センサと同様であり得る。画像センサ７００は、同様に、センサセル７０４のグリッド７０２を含み得る。センサセル７０４のグリッド７０２は、列７１０および行７１２に配置され得る。図６の画像センサ６００と同様に、画像センサ７００は、有効にされた領域７０８および少なくとも１つの無効にされた領域の両方を有し得る。図７に示すように、画像センサ７００は、頂部無効にされた領域７０６Ａおよび底部無効にされた領域７０６Ｂを有する。

【0101】

画像センサ７００は、光学システム経由で受光するように構成され得る。動作中、光学システムは、すべてのセンサセル７０４を露光し得る。しかしながら、有効にされたセル領域７０８内の有効にされたセルのみが画像データを提供し得る。

【0102】

画像センサ７００は、図６の画像センサ６００と同じ画像センサであり得るが、調整された有効にされた領域７０８を有する。いくつかの例では、画像プロセッサは、有効にされた領域７０８を調整することができ得る。例えば、有効にされた領域７０８は、画像センサ上で（行で測定した場合）より高いまたはより低い領域に移動し得る。他の例では、有効にされた領域７０８の行数が、増加または低減されてもよい。

【0103】

図８は、実装形態例による、方法８００のフローチャートである。方法８００は、ブロック８０２～８０８のうちの１つ以上によって示されるような、１つ以上の動作を含み得る例示的な方法を表し、その各々は、他の可能なシステムの中でもとりわけ、図１～７に示されたシステムのいずれかによって実行され得る。例示的な実装形態では、カメラシステム３５０などのコンピューティングシステムが図示された動作を行うが、他の実装形態では、１つ以上の他のシステム（例えば、サーバコンピューティングシステム３０６）が動作の一部またはすべてを行うことができる。

【0104】

当業者は、本明細書で説明されるフローチャートが、本開示の特定の実装形態の機能および動作を例証することを理解するであろう。これに関して、フローチャートの各ブロックは、プロセス内の特定の論理機能またはステップを実施するための１つ以上のプロセッサによって実行可能な１つ以上の命令を含む、モジュール、セグメント、またはプログラムコードの一部を表し得る。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスのような任意のタイプのコンピュータ可読媒体に格納することができる。

【0105】

加えて、各ブロックは、プロセス内の特定の論理機能を行うために配線された回路を表す場合がある。代替的な実装形態が、本出願の例示的な実装形態の範囲内に含まれ、当業者によって理解されるように、機能は、実質的に同時または逆の順序を含めて、関連する機能に応じて図示または説明したものとは異なる順序で実行されてもよい。例の中で、任意のシステムは、別のシステムに、以下で説明される動作（または動作の一部）うちの１つ以上を実行させることができる。

【0106】

上記の議論に沿って、コンピューティングシステム（例えば、カメラシステム３５０、リモートコンピューティングシステム３０２、またはサーバコンピューティングシステム３０６）は、方法８００によって示されるように動作し得る。図８に示すように、ブロック８０２で、コンピューティングシステムは、光学システムを介して光センサで受光するように動作する。センサは、複数の水平行および複数の垂直列に整列された複数のセルで構成され得る。センサは、装置の外部環境の全体的な垂直視野および全体的な水平視野を有するように構成される。各水平行は、全体的な垂直視野の対応する部分を提供し、各垂直列は、全体的な水平視野の対応する部分を提供する。

【0107】

ブロック８０４で、光学システムは、光センサの複数の水平行を１つ以上の有効にされた行および１つ以上の無効にされた行に分割することによって動作する。行は、図６および図７に関して前述したように分割され得る。一部の例では、車両にローカルなプロセッサが、どの行が有効にされるべきかの判定を行い得る。他の例では、補助知覚システムなどのリモートコンピュータシステムが、どのセルが選択されるべきかを判定することができる。行を分割することによって、画像センサは有効にされた行に対応する元の視野の一部のみを画像化する。

【0108】

加えて、画像センサは、図１または図３Ｂに関して説明されたプロセッサのうちの１つなど、画像処理を行うように構成されたプロセッサに結合され得る。画像処理には、画像圧縮、物体認識などが含まれる。センサが画像データを捕捉するとき、画像データは比較的大量のデータを消費し得る。大量のデータのために、データのストレージ、処理、移動は、計算およびメモリを集中的に使用する場合がある。システムの計算およびメモリの必要性を減らすために、センサの一部のみを任意の所与の時間に選択（つまり、有効にされる）してもよい。例えば、センサのある領域が無効にされ、センサセルのサンプリングが有効にされた部分でのみ行われてもよい。実際に、センサのセルの半分が、任意の所与の時間に有効にされてもよい。いくつかの例では、無効にされた部分は、センサの１つ以上の領域であってもよい。無効にされた領域は、センサの頂部または底部にある複数の列であってもよい。デフォルトモードでは、センサの行の頂部２５％およびセンサの行の底部２５％が無効になっていてもよい。これにより、行の中央の５０％が有効なままとなる。

【0109】

有効にされたセンサの領域は、センサの視野に対応し得る。センサの頂部または底部を無効にすることにより、視野は、完全に有効にされたセンサの完全な画像であったであろうものの中央部分のみを含有するように縮小され得る。いくつかの例では、プロセッサは、センサの有効にされた部分を調整するようにさらに構成され得る。

【0110】

実際に、これにより視野を上向きまたは下向きの方向に調整したり、視野を拡大または縮小したりできる。有効にされた部分は、デフォルトの視野とは異なる視野を捕捉するように調整され得る。例えば、車両が停止信号に近づくとき、停止信号が通常より高い場所に取り付けられている場合がある。プロセッサは、視野が停止信号を捕捉するようにセンサの有効にされる行を調整し得る。プロセッサは、様々な方法で有効にされるセンサの部分を調整し得る。いくつかの例では、有効にされるセンサの部分は、装置のメモリに格納されている地図データに基づいている。例えば、地図データは、道路の勾配の変化を示すか、または、道路近くの物体が通常よりも高いまたは低い位置にあり得ることを示す場合があり、プロセッサは、センサの有効にされた領域を応答的に調整して、道路の一部をセンサの視野内に維持するか、または物体がセンサの視野内にあることを確実にし得る。

【0111】

別の例では、システムは慣性測定ユニット（ＩＭＵ）を含み得、有効にされるセンサの部分は、ＩＭＵからのデータに基づき得る。例えば、ＩＭＵデータは、道路の勾配の変化を示し得、プロセッサは、センサの有効にされた領域を応答的に調整して、道路の一部をセンサの視野内に維持し得る。

【0112】

いくつかのさらなる例では、有効にされるセンサの部分は、画像データで検出された物体に基づいている。例えば、道路標識が、センサの視野内に部分的に位置付けされる場合があり、プロセッサは、道路標識全体が視野内に位置するように、有効にされる領域を調整し得る。

【0113】

さらにいくつかのさらなる例では、センサの視野内に全体的にまたは部分的に位置する潜在的な物体が存在する場合がある。プロセッサは、潜在的な物体が視野内に位置するように有効にされた領域を調整し得る。次に、処理システムは、潜在的な物体が実際に物体であるかどうかを判定し、物体を分類することができる。

【0114】

ブロック８０６（またはブロック８０８）で、光学システムは、１つ以上の無効にされた行のセルをサンプリングすることなく、１つ以上の有効にされた行の１つ以上のセルをサンプリングすることによって光センサから画像データを取得することによって動作する。画像データは、全体的な垂直視野の一部を画像化し、垂直視野の画像化された部分は、１つ以上の有効にされた行によって提供される垂直視野の１つ以上の部分に対応する。有効にされた行から複数のセルをサンプリングすることによって画像データが受信され得、画像データを形成し得る。サンプリングは、センサの垂直列の少なくとも１つにわたって行われ得る。前述のように、光学カメラは、ＣＭＯＳ画像センサなどの画像センサを有し得る。画像センサは、行および列に構成された複数のセンサセルを含み得る。画像データを捕捉するために、センサのセルをサンプリングして画像データを取得し得る。画像センサは、ローリングシャッターで構成されてもよい。ローリングシャッターは、概して、画像センサを反復的にサンプリングして画像データを捕捉する。画像センサからのデータは、画像、複数の画像、またはビデオを形成し得る。

【0115】

ローリングシャッターは、捕捉した画像にいくつかの歪みをもたらす場合がある。歪みは、画像センサの反復サンプリングによって引き起こされる。本開示の画像センサは、垂直列でセンサのセルをサンプリングするローリングシャッターでサンプリングされ得る。画像センサを行ではなく列でサンプリングすることによって、反復サンプリングによって引き起こされる歪みが軽減され得る。水平方向のスキューではなく、移動する物体の垂直方向のスキューおよび水平方向の圧縮（または拡張）が存在する場合がある。場合によっては、水平方向の圧縮または拡張を有する方が、従来のセンサの水平方向のスキューよりも望ましい場合がある。

【0116】

サンプリングされている列を構成する各セルで、有効にされているセルが電気信号を出力し得る。各それぞれのセルによって出力されるこの電気信号は、各それぞれのセルに当たる光に比例し得る。列の各有効にされたセルに対して、電気信号に基づいてデータが捕捉される。行の各セルがサンプリングされた後、新しい列がサンプリングされて、画像の別の列を作成し得る。すべての列がサンプリングされるまで、列は反復的にサンプリングされ得る。

【0117】

ブロック８０８で、コンピューティングシステムは、画像データを装置のメモリに格納することを提供することによって動作する。画像データは生フォーマットで格納され得、すなわち捕捉されたときに直接処理されない。他の例では、画像データは、さらなる処理のために、キャッシュなどの一時メモリに格納され得る。画像データは、メモリに格納される前に圧縮または加工されてもよい。メモリは、光学システム内のメモリ、光学システムの一部ではない装置のメモリであってもよく、および／またはメモリは、リモートコンピュータシステムに位置するメモリであってもよい。

【0118】

いくつかの例では、画像データは、自律車両による実行のための車両命令を判定するために車両制御システムによって使用され得る。例えば、車両は自律モードで動作していて、画像に捕捉された情報または物体に基づいてその動作を変える場合がある。いくつかの例では、画像データは、車両制御命令を決定するために、リモートコンピューティングシステムなどの異なる制御システムに関連付けられてもよい。自律車両は、リモートコンピューティングシステムから命令を受信し、それに応じてその自律動作を変え得る。

【0119】

加えて、いくつかの例では、自律車両は、リモートコンピューティングサーバへ送信された画像データに基づいて、センサの有効にされた部分を調整するようにリモートコンピューティングシステムから要求を受信し得る。センサの有効にされた部分を調整する要求を受信することに応答して、車両のプロセッサは、センサを調整し、調整されたセンサからリモートコンピューティングシステムに画像を送り返すことができる。

【0120】

図９は、実装形態例による、コンピュータプログラムの概略図である。いくつかの実装形態では、開示された方法は、機械可読フォーマットの非一時的なコンピュータ可読記憶媒体上、または他の非一時的な媒体もしくは製造物品上に符号化されたコンピュータプログラム命令として実装され得る。

【0121】

例示的な実装形態では、コンピュータプログラム製品９００は、信号担持媒体９０２を使用して提供され、それは、１つ以上のプロセッサによって実行されるときに、図１～図８に関して上記で説明した機能または機能の一部を提供し得る１つ以上のプログラミング命令９０４を含み得る。いくつかの例では、信号担持媒体９０２は、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、メモリ、リモート（例えば、クラウド上）で格納するための構成要素などであるがこれらに限定されない、非一時的なコンピュータ可読媒体９０６を包含し得る。いくつかの実装形態では、信号担持媒体９０２は、メモリ、読み取り／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどであるがこれらに限定されない、コンピュータ記録可能媒体９０８を包含し得る。いくつかの実装形態では、信号担持媒体９０２は、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などであるがこれらに限定されない、通信媒体９１０を包含し得る。同様に、信号担持媒体９０２は、リモートストレージ（例えば、クラウド）に対応し得る。コンピューティングシステムは、情報を送信または受信することを含めて、情報をクラウドと共有し得る。例えば、コンピューティングシステムは、センサまたは別のエンティティから取得した情報を補強するために、クラウドから追加情報を受信し得る。このため、例えば、信号担持媒体９０２は、無線形態の通信媒体９１０によって伝達されてもよい。

【0122】

１つ以上のプログラミング命令９０４は、例えば、コンピュータ実行可能および／または論理実装された命令であってもよい。いくつかの例では、図１のコンピュータシステム１１２、または図３Ａのリモートコンピューティングシステム３０２、および、場合によっては、サーバコンピューティングシステム３０６、または図３Ｂのプロセッサのうちの１つなどのコンピューティングデバイスは、コンピュータ可読媒体９０６、コンピュータ記録可能媒体９０８、および／または通信媒体９１０のうちの１つ以上によってコンピュータシステム１１２に伝達されるプログラミング命令９０４に応答して、様々な動作、機能、またはアクションを提供するように構成され得る。

【0123】

非一時的なコンピュータ可読媒体はまた、複数のデータストレージ要素および／またはクラウドの間に（例えば、遠隔で）分散させることもでき、これらは互いに遠隔に配置することができる。格納された命令の一部またはすべてを実行するコンピューティングデバイスは、図２に図解された車両２００などの車両であり得る。あるいは、格納された命令の一部またはすべてを実行するコンピューティングデバイスは、サーバなどの別のコンピューティングデバイスであり得る。

【0124】

上の発明を実施するための形態は、開示されるシステム、デバイス、および方法の様々な特徴および動作を添付の図を参照しながら述べている。本明細書では様々な態様および実施形態が開示されてきたが、他の態様および実施形態は明らかであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2022-07-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピューティングデバイスにおいて、環境内で動作している車両に結合された第１のセンサからセンサデータを受信することと、
前記第１のセンサからの前記センサデータに基づいて、前記車両に結合された第２のセンサのセルグリッドを、前記コンピューティングデバイスによって、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することと、
前記第２のセンサを用いて、前記１つ以上の無効にされたセル行をサンプリングせずに、前記１つ以上の有効にされたセル行をサンプリングすることを介して画像データを生成することと、
前記画像データを用いて、前記環境の一部をマッピングすることと、を含む、方法。

【請求項2】

前記車両に結合された前記第１のセンサからセンサデータを受信することは、慣性測定ユニット（ＩＭＵ）からセンサデータを受信することを含む、請求項１に記載の方法。

【請求項3】

前記ＩＭＵからセンサデータを受信することは、前記車両が動作している道路の勾配測定値を示すセンサデータを受信することを含む、請求項２に記載の方法。

【請求項4】

前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することは、前記車両が動作している前記道路の前記勾配測定値に基づいて、前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することを含む、請求項３に記載の方法。

【請求項5】

前記車両に結合された前記第１のセンサからセンサデータを受信することは、
前記車両に結合された全地球測位システム（ＧＰＳ）受信機から前記車両の場所データを受信することと、
前記車両の前記場所データに基づいて、地図データを識別することと、を含む、請求項１に記載の方法。

【請求項6】

前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することは、前記地図データに基づいて、前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することを含む、請求項５に記載の方法。

【請求項7】

前記車両に結合された前記第１のセンサからセンサデータを受信することは、前記車両に結合されたレーダユニットからレーダデータを受信することを含み、前記レーダデータは、車両に対する道路境界の相対的な位置を示し、
前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調節することは、前記画像データが前記道路境界を描写するように、前記第２のセンサの前記セルグリッドを調整することを含む、請求項１に記載の方法。

【請求項8】

前記第２のセンサを用いて、前記１つ以上の無効にされたセル行をサンプリングせずに、前記１つ以上の有効にされたセル行をサンプリングすることを介して画像データを生成することは、ローリングシャッターに前記１つ以上の有効にされたセル行を漸次サンプリングさせることを含む、請求項１に記載の方法。

【請求項9】

前記ローリングシャッターに前記１つ以上の有効にされたセル行を漸次サンプリングさせることは、前記ローリングシャッターに、所定の垂直列のすべての有効にされたセルが一度にサンプリングされるように、前記１つ以上の有効にされたセル行のセルを、前記セルグリッドの複数の垂直列に従って漸次サンプリングさせることを含む、請求項８に記載の方法。

【請求項10】

前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することは、ＣＭＯＳ画像センサの前記セルグリッドを調整することを含む、請求項１に記載の方法。

【請求項11】

環境内で動作している車両に結合された第１のセンサと、
前記車両に結合された第２のセンサと、
前記第１のセンサからセンサデータを受信し、
前記第１のセンサからの前記センサデータに基づいて、前記車両に結合された前記第２のセンサのセルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調節し、
前記第２のセンサを用いて、前記１つ以上の無効にされたセル行をサンプリングせずに、前記１つ以上の有効にされたセル行をサンプリングすることを介して画像データを生成し、
前記画像データを用いて、前記環境の一部をマッピングするように構成されたコンピューティングデバイスと、を含む、システム。

【請求項12】

前記第１のセンサはカメラであって、前記第２のセンサはＣＭＯＳ画像センサである、請求項１１に記載のシステム。

【請求項13】

前記第１のセンサは、慣性測定ユニット（ＩＭＵ）であって、前記ＩＭＵからのセンサデータは、前記車両が動作している道路の勾配測定値を示す、請求項１１に記載のシステム。

【請求項14】

前記コンピューティングデバイスは、前記車両が動作している前記道路の前記勾配測定値に基づいて、前記第２のセンサの前記セルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整するように構成される、請求項１３に記載のシステム。

【請求項15】

前記第２のセンサは、前記セルグリッドを有する光センサと、前記光センサに前記環境の視野を提供するように構成された光学システムとを含む、請求項１１に記載のシステム。

【請求項16】

前記第２のセンサは、ローリングシャッターを含み、前記ローリングシャッターは、前記１つ以上の無効にされたセル行をサンプリングせずに、前記１つ以上の有効にされたセル行を漸次サンプリングするように構成される、請求項１１に記載のシステム。

【請求項17】

前記ローリングシャッターは、所定の垂直行のすべての有効にされたセルが一度にサンプリングされるように、前記１つ以上の有効にされたセル行のセルを、前記セルグリッドの複数の垂直行に従って漸次サンプリングするようにさらに構成される、請求項１６に記載のシステム。

【請求項18】

１つ以上のプロセッサを含むコンピューティングシステムによって実行されると、前記コンピューティングシステムに動作を行わせる命令を格納するように構成された非一時的なコンピュータ可読媒体であって、前記動作は、
環境内で動作している車両に結合された第１のセンサからセンサデータを受信することと、
前記第１のセンサからの前記センサデータに基づいて、前記車両に結合された第２のセンサのセルグリッドを、１つ以上の有効にされたセル行と１つ以上の無効にされたセル行とに調整することと、
前記第２のセンサを用いて、前記１つ以上の無効にされたセル行をサンプリングせずに、前記１つ以上の有効にされたセル行をサンプリングすることを介して画像データを生成することと、
前記画像データを用いて、前記環境の一部をマッピングすることと、を含む、非一時的なコンピュータ可読媒体。

【請求項19】

前記車両に結合された前記第１のセンサからセンサデータを受信することは、慣性測定ユニット（ＩＭＵ）からセンサデータを受信することを含み、前記センサデータは、前記車両が動作している道路の勾配測定値を示す、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記環境の前記マッピングされた部分に基づいて、前記車両を制御することをさらに含む、請求項１８に記載の非一時的なコンピュータ可読媒体。

【外国語明細書】