特許 7198358 圧縮画像データを用いたセンサ遮蔽の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-20

(45)【発行日】2022-12-28

(54)【発明の名称】圧縮画像データを用いたセンサ遮蔽の検出

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221221BHJP

   G08G 1/16 20060101ALI20221221BHJP

   G06T 1/00 20060101ALI20221221BHJP

   G06T 9/00 20060101ALI20221221BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/16 C

G06T1/00 330Z

G06T9/00

【請求項の数】 17

(21)【出願番号】P 2021532044

(86)(22)【出願日】2020-01-13

(65)【公表番号】

(43)【公表日】2022-03-04

(86)【国際出願番号】 US2020013293

(87)【国際公開番号】W WO2020150127

(87)【国際公開日】2020-07-23

【審査請求日】2021-08-02

(31)【優先権主張番号】16/248,096

(32)【優先日】2019-01-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】エヴァンズ，ラフィン

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２００３－１５３２４５（ＪＰ，Ａ）

【文献】特開２０１８－１７２１２０（ＪＰ，Ａ）

【文献】国際公開第２０１９／００３３１４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

Ｇ０８Ｇ １／００ －９９／００

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

画像センサの遮蔽の可能性を検出する方法であって、
前記画像センサを使用して第１の画像データをキャプチャすることと、
１つ以上のプロセッサによって、前記第１の画像データを非圧縮画像ファイルにエンコードすることと、
前記１つ以上のプロセッサによって、前記非圧縮画像ファイルに基づいて圧縮画像ファイルを生成することと、
前記１つ以上のプロセッサによって、前記圧縮画像ファイルのファイルサイズを判定することと、
前記圧縮画像ファイルの前記ファイルサイズをしきい値ファイルサイズと比較することと、
前記１つ以上のプロセッサによって、前記圧縮画像ファイルの前記ファイルサイズが前記しきい値ファイルサイズより小さい場合、前記画像センサが遮蔽されている可能性があると判定することと、
前記画像センサが遮蔽されているとの判定の後に、前記画像センサが遮蔽されていないという入力の受信に応答して、前記しきい値ファイルサイズを調整することと、を含む、方法。

【請求項2】

遮蔽がないことがわかっている１つ以上の画像センサによって生成された圧縮画像ファイルの平均ファイルサイズに基づいて、前記しきい値ファイルサイズを判定することをさらに含む、請求項１に記載の方法。

【請求項3】

前記画像センサによって訓練期間中にキャプチャされた圧縮画像の最小ファイルサイズに基づいて、前記しきい値ファイルサイズを判定することであって、前記訓練期間は、事前定義されたフレーム数または事前定義された期間に対応する、判定することをさらに含む、請求項１に記載の方法。

【請求項4】

前記画像センサによって生成された圧縮画像ファイルのセットの移動平均ファイルサイズに基づいて、前記しきい値ファイルサイズを判定することをさらに含む、請求項１に記載の方法。

【請求項5】

前記しきい値ファイルサイズは、前記移動平均ファイルサイズの事前定義された範囲内にある、請求項４に記載の方法。

【請求項6】

前記第１の画像データと同様の時間および／または場所でキャプチャされた画像データに対応する圧縮画像ファイルに基づいて、前記しきい値ファイルサイズを判定することをさらに含む、請求項１に記載の方法。

【請求項7】

前記第１の画像データの後にキャプチャされた追加の画像データに基づいて、１つ以上の追加の圧縮画像ファイルを生成すること、
前記１つ以上の追加の画像ファイルのファイルサイズを判定すること、をさらに含み、
前記画像センサが遮蔽されていると判定することは、前記１つ以上の追加の画像の前記ファイルサイズにさらに基づく、請求項１に記載の方法。

【請求項8】

前記圧縮画像ファイルの前記ファイルサイズと前記１つ以上の追加の画像ファイルの前記ファイルサイズとの間の変化率を判定することをさらに含み、
前記画像センサが遮蔽されていると判定することは、前記変化率がしきい値を下回ると判定することをさらに含む、請求項７に記載の方法。

【請求項9】

前記画像センサが遮蔽されているとの前記判定に基づいて、前記画像センサを清掃するために、清掃システムを作動させるための信号を送信することをさらに含む、請求項１に記載の方法。

【請求項10】

前記画像センサは、自律運転モードを有する車両に取り付けられ、前記方法は、前記自律運転モードで前記車両を制御するために前記判定を使用することをさらに含む、請求項１に記載の方法。

【請求項11】

前記画像センサは、ＬＩＤＡＲセンサ、レーダーユニット、またはカメラである、請求項１に記載の方法。

【請求項12】

画像センサの遮蔽の可能性を検出するためのシステムであって、
画像センサと、
１つ以上のプロセッサを備え、前記１つ以上のプロセッサは、
前記画像センサを使用して第１の画像データをキャプチャすることと、
前記第１の画像データを非圧縮画像ファイルにエンコードすることと、
前記非圧縮画像ファイルに基づいて、圧縮画像ファイルを生成することと、
前記圧縮画像ファイルのファイルサイズを判定することと、
前記圧縮画像ファイルの前記ファイルサイズをしきい値ファイルサイズと比較することと、
前記圧縮画像ファイルの前記ファイルサイズが前記しきい値ファイルサイズより小さい場合、前記画像センサが遮蔽されている可能性があると判定することと、
前記画像センサが遮蔽されているとの判定の後に、前記画像センサが遮蔽されていないという入力の受信に応答して、前記しきい値ファイルサイズを調整することと、を行うように構成されている、システム。

【請求項13】

前記１つ以上のプロセッサは、遮蔽がないことがわかっている１つ以上の画像センサによって生成された圧縮画像ファイルの平均ファイルサイズに基づいて、前記しきい値ファイルサイズを判定するようにさらに構成されている、請求項１２に記載のシステム。

【請求項14】

前記１つ以上のプロセッサは、前記画像センサによって訓練期間中にキャプチャされた圧縮画像の最小ファイルサイズに基づいて、前記しきい値ファイルサイズを判定するようにさらに構成されており、前記訓練期間は、事前定義されたフレーム数または事前定義された期間に対応する、請求項１２に記載のシステム。

【請求項15】

前記１つ以上のプロセッサは、前記画像センサによって生成された圧縮画像ファイルのセットの移動平均ファイルサイズに基づいて、前記しきい値ファイルサイズを判定するようにさらに構成されている、請求項１２に記載のシステム。

【請求項16】

前記１つ以上のプロセッサは、前記第１の画像データと同様の時間および／または場所でキャプチャされた画像データに対応する圧縮画像ファイルに基づいて、前記しきい値ファイルサイズを判定するようにさらに構成されている、請求項１２に記載のシステム。

【請求項17】

前記画像センサは、ＬＩＤＡＲセンサ、ＲＡＤＡＲユニット、またはカメラである、請求項１２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年１月１５日に出願された米国出願第１６／２４８，０９６号の利益を主張し、その開示は参照により本明細書に組み込まれる。

【背景技術】

【0002】

人間の運転手を必要としない車両などの自律型車両が、ある場所から別の場所への搭乗者または物品の輸送を支援するために使用される場合がある。このような車両は、搭乗者が目的地などの何らかの初期入力を提供し、車両がその目的地に車両自体を操縦する、完全な自律運転モードで動作することができる。したがって、このような車両は、任意の所与の時間で自律型車両の場所を判定し、かつ、他の車両、停止信号、歩行者などの車両の外部にある物体を検出し識別することができるシステムに大きく依存することがある。

【0003】

自律型車両のためのセンサには多くの異なる構成があり得るが、一例として、これらのセンサは、ＬＩＤＡＲセンサ、レーダーユニット、ソナーシステム、カメラなどの画像センサを含んでもよい。カメラの例では、構成に加えて、カメラは、異なる照明条件で有用な画像を取得するために特定の値に設定しなければならないゲイン、露光時間などの様々な特徴を有する。ただし、いくつかの例では、カメラのレンズが完全にまたは部分的に遮蔽されているために、カメラが有用な画像をキャプチャすることができない可能性があることがある。

【発明の概要】

【0004】

本開示の一態様は、画像センサの遮蔽の可能性を検出するための方法を提供する。この方法は、画像センサを使用して第１の画像データをキャプチャすることと、１つ以上のプロセッサによって、第１の画像データを非圧縮画像ファイルにエンコードすることと、１つ以上のプロセッサによって、非圧縮画像ファイルに基づいて圧縮画像ファイルを生成することと、１つ以上のプロセッサによって、圧縮画像ファイルのファイルサイズを判定することと、１つ以上のプロセッサによって、圧縮画像ファイルのファイルサイズに基づいて、画像センサが遮蔽されている可能性があると判定することと、を含む。

【0005】

一例では、この方法では、圧縮画像ファイルのファイルサイズが、しきい値ファイルサイズと比較され、画像センサが遮蔽されていると判定することは、圧縮画像ファイルのファイルサイズがしきい値ファイルサイズを満たすと判定することをさらに含む。いくつかの例では、遮蔽がないことがわかっている１つ以上の画像センサによって生成された圧縮画像ファイルの平均ファイルサイズに基づいて、しきい値ファイルサイズを判定すること。いくつかの例では、画像センサによって訓練期間中にキャプチャされた圧縮画像の最小ファイルサイズに基づいて、しきい値ファイルサイズを判定すること、訓練期間は、事前定義されたフレーム数または事前定義された期間に対応する。いくつかの例では、画像センサによって生成された圧縮画像ファイルのセットの移動平均ファイルサイズに基づいて、しきい値ファイルサイズを判定すること。いくつかの例では、しきい値ファイルサイズは、移動平均ファイルサイズの事前定義された範囲内にある。いくつかの例では、第１の画像データと同様の時間および／または場所でキャプチャされた画像データに対応する圧縮画像ファイルに基づいて、しきい値ファイルサイズを判定すること。いくつかの例では、画像センサが遮蔽されているとの判定の後に、画像センサが遮蔽されていないという入力の受信に応答して、しきい値ファイルサイズを調整すること。

【0006】

いくつかの例では、この方法は、第１の画像データの後にキャプチャされた追加の画像データに基づいて、１つ以上の追加の圧縮画像ファイルを生成すること、１つ以上の追加の画像ファイルのファイルサイズを判定すること、をさらに含み、画像センサが遮蔽されていると判定することは、１つ以上の追加の画像ファイルのファイルサイズにさらに基づく。いくつかの例では、この方法は、圧縮画像のファイルサイズと１つ以上の追加の画像ファイルのファイルサイズとの間の変化率を判定することをさらに含み、画像センサが遮蔽されていることを判定することは、変化率がしきい値を下回ると判定することをさらに含む。

【0007】

いくつかの例では、この方法は、画像センサが遮蔽されているとの判定に基づいて、画像センサを清掃するために、清掃システムを作動させるための信号を送信することを含む。

【0008】

いくつかの例では、画像センサは、自律運転モードを有する車両に取り付けられ、方法は、自律運転モードで車両を制御するために判定を使用することをさらに含む。

【0009】

いくつかの例では、画像センサは、ＬＩＤＡＲセンサ、レーダーユニット、またはカメラである。

【0010】

この技術の別の態様は、画像センサの遮蔽の可能性を検出するためのシステムを対象とする。このシステムは、 画像センサと、１つ以上のプロセッサを備えてもよく、１つ以上のプロセッサは、画像センサを使用して第１の画像データをキャプチャすることと、第１の画像データを非圧縮画像ファイルにエンコードすることと、非圧縮画像ファイルに基づいて、圧縮画像ファイルを生成することと、圧縮画像ファイルのファイルサイズを判定することと、圧縮画像ファイルのファイルサイズに基づいて、画像センサが遮蔽されている可能性があると判定することと、を行うように構成されている。

【0011】

いくつかの例では、１つ以上のプロセッサは、圧縮画像ファイルのファイルサイズをしきい値ファイルサイズと比較するようにさらに構成されており、画像センサが遮蔽されていると判定することは、圧縮画像ファイルのファイルサイズがしきい値ファイルサイズを満たすと判定することをさらに含む。いくつかの例では、１つ以上のプロセッサは、遮蔽がないことがわかっている１つ以上の画像センサによって生成された圧縮画像ファイルの平均ファイルサイズに基づいて、しきい値ファイルサイズを判定するようにさらに構成されている。

【0012】

いくつかの例では、１つ以上のプロセッサは、画像センサによって訓練期間中にキャプチャされた圧縮画像の最小ファイルサイズに基づいて、しきい値ファイルサイズを判定するようにさらに構成されており、訓練期間は、事前定義されたフレーム数または事前定義された期間に対応する。いくつかの例では、１つ以上のプロセッサは、画像センサによって生成された圧縮画像ファイルのセットの移動平均ファイルサイズに基づいて、しきい値ファイルサイズを判定するようにさらに構成されている。いくつかの例では、１つ以上のプロセッサは、第１の画像データと同様の時間および／または場所でキャプチャされた画像データに対応する圧縮画像ファイルに基づいて、しきい値ファイルサイズを判定するようにさらに構成されている。

【0013】

いくつかの例では、画像センサは、ＬＩＤＡＲセンサ、ＲＡＤＡＲユニット、またはカメラである。

【図面の簡単な説明】

【0014】

【図1】本開示の態様による、例示的な車両の機能図である。

【図2】本開示の態様による、例示的な車両の代表図である。

【図3】本開示の態様による、画像センサの例示的な機能図である。

【図4A-4B】本開示の態様による、カメラによってキャプチャされた例示的な画像である。

【図5】本開示の態様による、カメラによってキャプチャされた例示的な画像である。

【図6】本開示の態様による、データの例示的なグラフ表現である。

【図7】本開示の態様による、カメラによってキャプチャされた例示的な画像である。

【図8】本開示の態様による、例示的なフロー図である。

【発明を実施するための形態】

【0015】

概要
この技術は、センサの遮蔽を検出するために、ＬＩＤＡＲセンサ、レーダーユニット、ソナーシステム、カメラなどの画像センサによってキャプチャされた圧縮画像のデータサイズを追跡することに関する。カメラなどの画像センサがいつ遮蔽されるかを理解することは、画像センサを使用して運転判定を行う自律型車両の場合などにおいて、そのような画像を使用してリアルタイムで重要な判定が行われる状況で特に有用であり得る。しかし、画像データのみに基づいて画像センサの遮蔽を判定することは非常に困難である可能性がある。例えば、１つのカメラによってキャプチャされた画像を別のカメラによってキャプチャされた画像と比較して、２つのカメラによってキャプチャされた画像が同じであり、かつ／またはほぼ同じであるかを判定することがある。画像が異なる場合、その違いは、カメラの１つが、土、泥、ほこり、雨、破片（ビニール袋、ナプキンなど）、葉、レンズおよび／または筐体の引っかき傷によって遮蔽された結果であり得る。しかし、そのような比較には、一般的に、別のカメラと同様の画像をキャプチャできる少なくとも１つの冗長カメラが必要である。加えて、冗長システムでは、画像を処理してそれらが同じかどうかを判定するために、かなりの処理リソースと時間が必要になることある。

【0016】

例えば、画像センサは、画像センサからの情報を処理できるコントローラに取り付けられた画像センサに向けて光を集束させるレンズを含んでもよい。画像センサおよび／またはプロセッサは、非圧縮画像ファイルにエンコードされ得る画像データを生成してもよい。非圧縮画像ファイルは、圧縮アルゴリズムを用いて非圧縮ファイルを圧縮することにより、圧縮画像ファイルに変換され得る。

【0017】

圧縮画像ファイルは、圧縮画像ファイルに対応する画像データをキャプチャした画像センサが遮蔽されたかどうかを示してもよい。この点に関して、しきい値を満たす（すなわち、より大きい、より小さい、および／または等しい）ファイルサイズを有する圧縮画像ファイルは、遮蔽を含む可能性があるものとして識別され得る。しきい値は、しきい値ファイルサイズであってもよい。圧縮画像ファイルがしきい値を満たすかどうかを判定する代わりに、またはそれに加えて、統計的時系列分析および／または機械学習方法などの他の技術を使用して、画像をキャプチャした画像センサの遮蔽の存在に対応することができる圧縮画像のファイルサイズの異常な変化を検出してもよい。

【0018】

本明細書で説明された特徴により、単純であるが効果的な分析を使用して画像センサが何か暗いものを観察しているか、または単に遮蔽されているかを検出し、それによって画像センサの動作を改善することを可能にし得る。この判定は、例えば、画像センサのプロセッサまたは遠隔処理デバイスによって、リアルタイムで行ってもよい。したがって、画像センサの機能性は、自己評価されるか、または自動的に評価されることができ、画像センサを清掃するかどうか、および／または人間のオペレータに通知するかどうかを判定するために使用され得る。これは、例えば、画像センサに簡単にアクセスできない、または人間のオペレータがいないなどの理由で、人間のオペレータによる目視検査では遮蔽を簡単に識別できない特定の状況で特に有用であり得る。同様に、上記のように、この技術は、画像センサの画像を使用して運転判断を行う自律型車両の場合など、そのような画像を使用してリアルタイムで重要な判定が行われる状況でも有用である。加えて、多くの視覚処理システムは、保存および処理のために生画像ファイルをすでに圧縮しているため、本明細書において説明される遮蔽分析を実行するために必要な処理の大部分がすでに発生していることがある。このように、遮蔽の検出は、システムによってすでに実行されている処理とは別に多くの追加処理を必要としない。加えて、本明細書で論じる技術は、遮蔽のタイプに対して特定のモデルまたは理論を必要としない。そのため、これらの技術は、画像センサシステムによって以前は検出できなかったものを含め、多くのタイプの遮蔽に適用可能である。

【0019】

例示的システム
図１に示すように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のある態様は、特定のタイプの車両と関連して特に有用であり、車両は、自動車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両でもよい。車両は、１つ以上のコンピューティングデバイス、例えば、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイス１１０を有してもよい。

【0020】

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能な情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

【0021】

命令１３２は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

【0022】

データ１３４は、命令１３２に従って、プロセッサ１２０によって検索、記憶、または修正されてもよい。例えば、特許請求の範囲の主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

【0023】

１つ以上のプロセッサ１２０は、市販されているＣＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に記憶されていてもいなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に位置する他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。

【0024】

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス）などの、コンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、情報または視聴覚体験を提供するために、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含む。この点について、内部電子ディスプレイ１５２は、車両１００の車内に位置していてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の搭乗者に情報を提供してもよい。

【0025】

コンピューティングデバイス１１０はまた、１つ以上のワイヤレスネットワーク接続１５６も含むことにより、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなどの他のコンピューティングデバイスと容易に通信することができる。無線ネットワーク接続には、ブルートゥース、ブルートゥースローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業専有の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびにそれらの様々な組み合わせが含まれてもよい。

【0026】

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムでもよい。自律運転コンピューティングシステムは、完全自律運転モードおよび／または半自律運転モードで車両１００を操縦するために、車両の様々な構成要素と通信することができ得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３２に従って車両１００の移動、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、ナビゲーションシステム１６８、測位システム１７０、知覚システム１７２、および電力システム１７４（例えば、ガソリンもしくはディーゼル電動モータまたは電気エンジン）など、車両１００の様々なシステムと通信している。この場合も、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自律運転コンピューティングシステムとしてここでも、コンピューティングデバイス１１０の中に組み込まれてもよい。

【0027】

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用してもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用されてもよい。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両の向きを変えるための車輪の角度を制御する構成要素を含んでいてもよい。信号システム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転者または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

【0028】

ナビゲーションシステム１６８は、ある場所までのルートを決定し、かつ追従するために、コンピューティングデバイス１１０によって使用され得る。この点について、ナビゲーションシステム１６８および／またはデータ１３４は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別する高精密地図、を記憶し得る。換言すると、この詳細な地図情報は、車道、ならびにそれらの車道の速度制限（法定速度制限）を含む、車両の予想される環境の幾何学形状を定義し得る。さらに、この地図情報は、交通信号灯、一時停止標識、道を譲れという標識などの交通制御に関する情報を含み得、これらは、知覚システム１７２から受信するリアルタイム情報と併せて、所与の場所でどの方向の交通が優先通行権を持っているかを判断するためにコンピューティングデバイス１１０によって使用され得る。

【0029】

知覚システム１７２はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部にある物体を検出するための１つ以上の構成要素を含む。例えば、知覚システム１７２は、可視光カメラ、熱画像システム、レーザーおよび無線周波数検出システム（例えば、ＬＩＤＡＲ、ＲＡＤＡＲなど）、ソーナーデバイス、マイク、および／またはコンピューティングデバイス１１０によって処理され得るデータを記録する任意の他の検出デバイスを含む１つ以上の画像センサを含んでもよい。知覚システムのセンサは、物体と、場所、向き、サイズ、形状、タイプ、移動の方向および速度などの物体の特性を検出してもよい。センサからの生データおよび／または前述の特性は、定量化されるか、または記述関数もしくはベクトルに配置され、さらなる処理のためにコンピューティングデバイス１１０に送信され得る。例として、コンピューティングデバイス１１０は、車両の位置を判定するために測位システム１７０を使用し、その場所に安全に到着する必要があるときに、物体を検出し、かつ物体に応答するために知覚システム１７２を使用してもよい。

【0030】

図２は、知覚システム１７２の態様を含む車両１００の例示的な外観図である。例えば、屋上にある筐体２１０およびドーム状筐体２１２は、ＬＩＤＡＲセンサまたはシステム、および様々なカメラおよびレーダーユニットを含んでもよい。加えて、車両１００の前端に位置する筐体２２０、ならびに車両の運転手側および助手席側の筐体２３０、２３２は、各々、ＬＩＤＡＲセンサを格納してもよい。例えば、筐体２３０は、運転手側のドア２６０の前部に位置している。車両１００はまた、車両１００の屋根の上にさらに位置付けられたレーダーユニットおよび／またはカメラのための筐体２４０、２４２も含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、ならびに／または屋根もしくは屋上にある筐体２１０に沿った他の位置に位置付けることができる。

【0031】

図３は、知覚システム１７２の任意の画像センサまたは任意の他の画像センサであり得る画像センサ３００の例示的な機能図である。画像センサ３００は、電磁放射線などの受信した放射線を画像センサ３２０に向けて集束するように構成されているレンズ３１０を含んでもよい。画像センサは、画像センサ３２０から受信した情報を処理することができるコントローラ３３０に取り付けられている。コントローラ３３０は、プロセッサ１２０と同様に構成された１つ以上のプロセッサを含むことができ、これは、例えば、ゲインおよび露出時間を設定することにより、画像センサ３２０の動作を制御する。受信した電磁放射線が画像センサ３２０上のピクセルに当たると、画像センサ３２０は、ある期間にわたって、典型的には画像センサの露出時間に基づいて、画像センサ３２０によって受信された受信した電磁放射線を表すセンサデータ（つまり、画像データ）を生成し得る。コントローラは、このセンサデータ、むしろ画像を、さらなる処理のためにコンピューティングデバイス１１０などのコンピューティングデバイスに送信するように構成され得る。

【0032】

コントローラ３３０または他のそのようなプロセッサは、電磁放射を画像センサの外部環境に送信するためのアクティブ照明源３４０も制御してもよい。送信された電磁放射は、画像センサの外部環境において物体で反射し、受信される電磁放射として画像センサ３２０によって受信されてもよい。例えば、画像センサ３００はカメラであってもよく、アクティブ照明源３４０はフラッシュであってもよい。別の例では、画像センサ３００はＬＩＤＡＲセンサであってもよく、アクティブ照明源３４０は、光のパルスまたは短いバーストを生成するように構成されている１つ以上のレーザーであり得る。さらに別の例では、画像センサ３００はＲＡＤＡＲであってもよく、アクティブ照明源３４０は、電波のパルスまたは短いバーストを生成するように構成されている１つ以上のトランスデューサであり得る。

【0033】

いくつかの例では、画像センサ３００は、電磁放射の代わりに、または電磁放射に加えて音波を受信および／または送信してもよい。この点に関して、アクティブ照明源３４０および画像センサ３２０は、１つ以上のトランスデューサで置換または補足され得る。例えば、画像センサ３００は、１つ以上のトランスデューサで音波を送受信するように構成されているソナーセンサであってもよい。

【0034】

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々な工程が、異なる順序で、または同時に処理されてもよく、工程もまた、追加または省略されてもよい。

【0035】

図３にさらに示されるように、動作中、受信した電磁放射（または音波）が画像センサ３２０（またはトランスデューサー）に当たると、画像が取り込まれ、キャプチャされた画像を表すセンサデータが生成される。センサデータは、画像センサ３２０および／またはコントローラ３３０によって、未処理かつ非圧縮画像ファイルにエンコードされ得る。これらの非圧縮かつ未処理画像ファイルは、典型的には、生画像ファイルと呼ばれる。生画像ファイルは、画像をキャプチャする際にカメラなどの画像センサの全露光時間にわたって画像センサ３２０によって生成されるすべてのセンサデータを表すので、生画像ファイルのファイルサイズは大きいことがある。例えば、カメラは、メガピクセルあたり約１メガバイト、またはそれよりも大きいもしくは小さいサイズの生画像ファイルを生成することがある。

【0036】

保存および／または処理のために生画像ファイルのサイズを縮小するために、画像センサ内のプロセッサまたはコンピューティングデバイス１１０のプロセッサ１２０などのプロセッサは、生画像ファイルのフォーマットを圧縮画像ファイルに変換してもよい。これに関して、プロセッサは、非可逆圧縮または可逆圧縮アルゴリズムをそれぞれ使用して、生画像ファイルを非可逆フォーマットまたは可逆フォーマットに圧縮してもよい。非可逆圧縮アルゴリズムは、結果として得られる画像ファイルのサイズを縮小することがあるが、生画像ファイルからデータを非可逆的に削除するという犠牲を伴う。例えば、生画像ファイルを圧縮ＪＰＥＧファイルに変換するためにデータを非可逆的に削除するＪＰＥＧ圧縮アルゴリズムを使用して、生画像ファイルを非可逆ＪＰＥＧフォーマットに変換してもよい。対照的に、可逆圧縮アルゴリズムは非可逆圧縮アルゴリズムほど生画像ファイルのサイズを縮小しないことがあるが、圧縮を逆にすることですべての生画像データを回復し得る。例えば、生画像ファイルを圧縮ＴＩＦＦファイルに変換するためにデータを可逆的に削除するＴＩＦＦ圧縮アルゴリズムを使用して、生画像ファイルを可逆ＴＩＦＦフォーマットに変換してもよい。いくつかの例では、ＤＥＦＬＡＴＥなどのより一般的なファイル圧縮アルゴリズムを、ＬＩＤＡＲ、レーダー、ソナーなどのカメラまたは他の画像センサから生成された画像に使用することができる。

【0037】

圧縮画像ファイルのファイルサイズは、元の生画像ファイル内の繰り返されるデータおよび／または同様のデータの量を表してもよい。この点に関して、圧縮アルゴリズムは、非可逆または可逆のいずれでも、生画像ファイルに含まれるデータが、生画像ファイルのデータが不規則および／または非類似の特徴を有する画像に対応する場合よりも、生画像ファイルに含まれるデータが、領域が同じまたは類似の色を有する、および／または繰り返される空間パターンを有するなど、繰り返しおよび／または類似の特徴を有する画像に対応する場合に、より小さなファイルサイズを生成することができることがある。これは、圧縮アルゴリズムがデータ内の繰り返しを利用してデータ削減を実現するためである。そのため、画像の繰り返しおよび／または類似の特徴を有する画像に対応する生画像ファイルなど、より多くの繰り返しを含むデータは、不規則で非類似の特徴に対応する生画像ファイルよりもコンパクトに圧縮され得る。

【0038】

例えば、図４Ａに示すように、生画像ファイル内のデータは、この例ではカメラとして実装されることによりキャプチャされた画像４０１に対応してもよく、画像４０１は、樹木４０３～４０６、道路４０７、および丘４０８、４０９などの不規則で非類似の特徴を有する。対照的に、図４Ｂに示すように、生画像ファイル内のデータは、カメラによってキャプチャされた画像４１１に対応してもよく、画像４１１は、道路４１７、および単一の大きな丘４１８などの類似する繰り返しの特徴を有する。図４Ａに示す画像４０１に対応する生画像ファイルを圧縮すると、生画像ファイルよりも例えば、約２～５倍小さいファイルサイズ、またはそれよりも大きいもしくは小さいファイルサイズを有する圧縮ＪＰＥＧファイルの生成をもたらし得る。図４Ｂに示す画像４１１に対応する生画像ファイルを圧縮すると、元の生画像よりも例えば、約４～１５倍小さいファイルサイズ、またはそれよりも大きいもしくは小さいファイルサイズを有する圧縮ＪＰＥＧファイルの生成をもたらし得る。

【0039】

遮蔽された画像センサ３００によってキャプチャされた画像は、連続的な暗い／空白（すなわち、類似する繰り返しの）特徴を有する１つ以上の領域を含んでもよい。例えば、カメラは、図５などに示すように、連続的な暗い／空白の特徴５１１を有する画像５０１をキャプチャすることがある。その結果、画像５０１に対応する生画像ファイルから生成された圧縮画像ファイルは、画像４０１などの遮蔽がない類似画像に対応する生画像ファイルから生成された圧縮画像ファイルよりもコンパクトになることがある。例えば、図６のグラフに示すように、遮蔽なしでカメラからキャプチャされた画像に対応する圧縮画像ファイルは約２７ＭＢとなることがあり、カメラが遮蔽されたときにキャプチャされた画像に対応する圧縮画像ファイルは約９ＭＢとなることがあり、カメラが遮蔽されていた期間中にキャプチャされた画像に対応する圧縮画像ファイルは、２７ＭＢ～９ＭＢのある値になることがある。本明細書で説明されるように、図６にグラフ化された圧縮画像ファイルのファイルサイズは、単一のカメラによってキャプチャされた画像に基づく。他のカメラおよび／または他の画像センサによってキャプチャされた圧縮画像ファイルのファイルサイズは、図６に示されているものよりも大きくても小さくてもよい。

【0040】

図５は、光が画像センサ（すなわち、カメラ）の画像センサに到達するのを完全にまたはほぼ完全に遮断する遮蔽５１１を示しているが、遮蔽はまた、光が画像センサのレンズおよび／または筐体に到着する、および／またはこれらを通過する際に、光を遮断、変更、および／またはその他の方法で遮る他の障害を含んでもよい。例えば、図７に示すように、画像センサ３００のレンズ３１０などの画像センサのレンズ上の水滴７０３～７０６によって生じる遮蔽は、ほぼすべての光を通過させるが、画像センサによってキャプチャされた画像７０１の一部または全部にぼやけをもたらすことがある。そのため、図７に示す例においてカメラとして実装された画像センサ３００によってキャプチャされた画像は、水滴７０３～７０６がカメラを遮蔽した位置で空間情報が失われることがある。結果として、画像の遮蔽部分が類似して見えることがある（つまり、繰り返しおよび類似の特徴を有する）。

【0041】

画像センサが遮蔽されている可能性があるかどうかを判定するために、圧縮画像ファイルのファイルサイズを、コンピューティングデバイス１１０などの１つ以上のコンピューティングデバイスによってしきい値と比較してもよい。しきい値は、しきい値ファイルサイズを表す。これに関して、しきい値を満たす（すなわち、しきい値よりも小さい）ファイルサイズを有する圧縮画像ファイルは、遮蔽された画像センサによってキャプチャされた可能性があると識別され得る。

【0042】

しきい値は、遮蔽がないことがわかっている１つ以上の画像センサによって生成された圧縮画像ファイルの平均ファイルサイズに基づいて判定され得る。これに関して、圧縮画像ファイルの平均ファイルサイズは、車両の始動時または較正期間中など、遮蔽を検出する前に判定してもよい。圧縮画像ファイルの平均ファイルサイズは、後で使用するために、コンピューティングデバイス１１０のメモリ１３０などに記憶されてもよい。

【0043】

車両上の１つ以上の画像センサ、または複数の車両上の１つ以上の画像センサなど、遮蔽がないことがわかっている１つ以上の画像センサによってキャプチャされた圧縮画像ファイルの平均ファイルサイズを、圧縮画像ファイルのファイルサイズを平均することによって判定してもよい。しきい値は、平均ファイルサイズとして設定してもよい。いくつかの例では、しきい値は、平均ファイルサイズのあるパーセンテージ以内、例えば５０％以内など、またはそれよりも大きいもしくは小さい平均ファイルサイズを下回る、ある値であってもよい。しきい値を下回る画像センサによって生成された圧縮画像ファイルは、遮蔽された画像センサによってキャプチャされた可能性があるものとして識別され得る。平均ファイルサイズが複数の画像センサによってキャプチャされた画像ファイルに基づく場合、画像センサは同じか、むしろ同じ製造元およびモデルであることが好ましい。あるいは、異なる画像センサが使用されるときに、異なる画像センサによってキャプチャされた画像から生成された生画像ファイルのファイルサイズは、概して正確なしきい値を判定することができるように同じか、またはほぼ同じであってもよい。

【0044】

いくつかの場合では、しきい値は、画像センサによってキャプチャされた画像から以前に生成された圧縮画像ファイルのサイズに基づいて判定されてもよい。これに関して、画像センサによってキャプチャされた画像から生成された圧縮画像ファイルのファイルサイズは、１分または１００フレームなど、またはそれよりも多いもしくは少ない、期間またはいくつかのフレーム（例えば、訓練期間）にわたって追跡されてもよい。追跡された圧縮画像ファイルから最小のファイルサイズを判定し、しきい値として設定してもよい。新しく生成された圧縮画像のファイルサイズが最小ファイルサイズ、むしろしきい値を下回る場合、画像センサによってキャプチャされた画像から生成された新しく生成された各圧縮画像ファイルは、遮蔽を含む可能性があると識別されてもよい。

【0045】

あるいは、画像センサ３００などの画像センサによってキャプチャされた画像から生成された圧縮画像ファイルのファイルサイズの移動平均を使用して、しきい値を判定してもよい。これに関して、画像センサによってキャプチャされた画像から生成された以前の圧縮画像ファイルのセットの平均ファイルサイズを判定してもよい。圧縮画像ファイルの設定サイズは、１００ファイル、１，０００ファイル、１０，０００ファイルなど、またはそれよりも大きくもしくは小さくあってもよい。しきい値は、平均ファイルサイズのあるパーセンテージ以内（例えば、５０％以内またはそれよりも大きいもしくは小さい）など、セットの平均ファイルサイズに基づいていてもよい。

【0046】

画像センサ３００などの画像センサによってキャプチャされ、しきい値を満たす各画像について、その画像をセットに追加し、最も古い画像をセットから削除してもよい。画像センサによってキャプチャされ、しきい値を満たさない各画像は、遮蔽を含む可能性があるものとして識別されてもよい。

【0047】

しきい値はまた、新しい画像が画像センサによってキャプチャされている類似の時刻および／または場所で画像センサによってキャプチャされた以前の画像を含む履歴データに基づいて判定されてもよい。これに関して、データベースは、１つ以上の圧縮画像ファイルのファイルサイズまたは平均ファイルサイズを、それらがキャプチャされた場所および／または時刻に関連付けて記憶してもよい。しきい値は、記憶された平均ファイルサイズまたはデータベースに記憶された圧縮画像ファイルの平均ファイルサイズの判定に基づいてもよい。例えば、特定の夜間において、第１の場所で、画像センサ３００などの画像センサによってキャプチャされた画像から生成された圧縮画像ファイルのファイルサイズは、記憶された平均ファイルサイズまたはデータベースに記憶された圧縮画像ファイルの平均ファイルサイズの判定に基づいたしきい値と比較されてもよい。新しい画像がキャプチャされる類似の時刻および／または場所で画像センサによってキャプチャされた以前の画像を含む履歴データに基づいてしきい値が判定される場合、画像センサは同じ、むしろ遮蔽の可能性が判定されている画像センサと同じ製造元とモデルであることが好ましいことがある。あるいは、異なる画像センサが使用されるときに、異なる画像センサによってキャプチャされた画像から生成された生画像ファイルのファイルサイズは、概して正確なしきい値が、遮蔽の可能性が判定されている画像センサに対して判定することができるように同じか、またはほぼ同じであってもよい。

【0048】

いくつかの例では、しきい値は、一定の固定値ではなく、潜在的な遮蔽の偽陽性識別の生成を回避するために、調整されてもよい。これに関して、遮蔽の可能性を調査した後、遮蔽の可能性がある画像をキャプチャした１つの画像センサまたは複数の画像センサが、画像がキャプチャされた時点で遮蔽されていなかったと判定された場合、しきい値は、偽陽性の可能性を低減するようにさらに調整されてもよい。

【0049】

圧縮画像のファイルサイズを上記のように適切に選択されたしきい値と比較することに加えて、圧縮ファイルサイズに基づいて画像が遮蔽を含むかどうかを判定する他の技術も可能である。例えば、ファイルサイズの統計的時系列分析を使用して、遮蔽の存在に対応し得る圧縮画像のファイルサイズの異常な変化を検出することができる。このような分析は、ファイルサイズの勾配（微分、むしろ変化率）の調査に依存する可能性があり、これにより、信号の実際の値に関係なく、勾配の急激な変化が遮蔽を示すことができる。

【0050】

画像センサが遮蔽されているかどうかを判定するための他のクラスの分析も、本明細書で論じたしきい値判定と併せて、またはその代わりに可能であり得る。一例として、時間の関数としての圧縮画像のファイルサイズの第一原理または現象論的モデルを使用して、観察されたファイルサイズデータを統計的に適合させることができ、ここで、適合度統計があるしきい値を超えるときはいつでも遮蔽が宣言される。別の例として、長期短期記憶ネットワーク、ランダム決定フォレスト、勾配ブースティング回帰手法、および時間遅延ニューラルネットワークを含むがこれらに限定されない機械学習方法を、遮蔽の存在を検出するために時系列データで直接使用してもよい。上記の分析のいずれかを１つ以上の他のセンサからのデータと組み合わせて、遮蔽の検出を支援することもできる。

【0051】

画像センサが遮蔽されている可能性があると判定されると、是正措置が取られる。例えば、コンピューティングデバイス１１０は、画像センサを清掃し、オフラインにし、保守のためにフラグを立てさせてもよい。例えば、信号が送信されて、画像センサを清掃するために清掃システムを作動させてもよい。別の例として、画像センサが遮蔽されていることを示すメッセージが人間のオペレータに送信されてもよい。別の例として、画像センサが、車両１００などの自律運転モードを有する車両に取り付けられている場合、その判定は、車両の制御システムによって使用されて、例えば、画像センサが清掃されるか、遮蔽がなくなるまで、速度を落として運転する、および／または画像センサによってキャプチャされた情報を破棄することによって、自律運転モードの車両を制御してもよい。別の例では、遮蔽の可能性がある画像センサによってキャプチャされた画像は、別の画像センサによってキャプチャされた画像と比較されて、２つの画像センサによってキャプチャされた画像が同じであるか、および／またはほぼ同じであるかを判定してもよい。それらが同じか、またはほぼ同じである場合、遮蔽の可能性を検出するためのしきい値を低くする、および／またはそれ以上の是正措置が取られなくてもよい。

【0052】

図８は、本明細書で説明された態様のいくつかによる、画像センサが遮蔽されているどうかを判定するための例示的なフロー図８００である。例示的なフロー図は、画像センサ３００などの画像センサと、１つ以上のコンピューティングデバイス１１０の１つ以上のプロセッサ１２０などの１つ以上のプロセッサを有する１つ以上のコンピューティングデバイスと、を含むシステムを指す。例えば、ブロック８１０では、第１の画像データは、画像センサの画像センサを使用してキャプチャされる。ブロック８２０では、第１の画像データは、非圧縮画像ファイルにエンコードされる。ブロック８３０では、非圧縮画像ファイルに基づいて、圧縮画像ファイルが生成される。ブロック８４０では、圧縮画像ファイルのファイルサイズが判定される。ブロック８５０では、圧縮画像ファイルのファイルサイズに基づいて、画像センサが遮蔽されている可能性があるという判定がなされる。

【0053】

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施することができる。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書説明された実施例、および「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの１つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】