特許 7536006 知覚を改善するための多重チャネル多重偏光イメージング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-08

(45)【発行日】2024-08-19

(54)【発明の名称】知覚を改善するための多重チャネル多重偏光イメージング

(51)【国際特許分類】

   H04N 25/11 20230101AFI20240809BHJP

   H04N 25/70 20230101ALI20240809BHJP

   H04N 23/55 20230101ALI20240809BHJP

   H04N 23/45 20230101ALI20240809BHJP

【ＦＩ】

H04N25/11

H04N25/70

H04N23/55

H04N23/45

【請求項の数】 19

(21)【出願番号】P 2021523384

(86)(22)【出願日】2019-12-05

(65)【公表番号】

(43)【公表日】2022-02-08

(86)【国際出願番号】 US2019064758

(87)【国際公開番号】W WO2020123259

(87)【国際公開日】2020-06-18

【審査請求日】2022-11-17

(31)【優先権主張番号】16/221,406

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521411231

【氏名又は名称】ウーブン バイ トヨタ，ユーエス，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】ブリッグス、フォレスト、ザムエル

(72)【発明者】

【氏名】クレメント、ロマイン

(72)【発明者】

【氏名】ゾウ、イ

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１１－１７６７１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

Ｈ０４Ｎ ２３／００－２３／９５９

(57)【特許請求の範囲】

【請求項1】

コンピューティングシステムによって、
第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが複数の第１のフィルタタイプを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび前記複数の第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第１のフィルタタイプの１つまたは複数と関連付けられた第１のデータおよび前記複数の第２のフィルタタイプの１つまたは複数と関連付けられた第２のデータをそれぞれ含む、１つまたは複数の第３のピクセルを有する、段階と、
前記第３のピクセルの前記複合データを、対象物の１つまたは複数のクラスの格納された複合データと比較する段階と、
少なくとも前記対応する第１のデータおよび第２のデータを、機械学習モデルを使用して処理することによって、前記１つまたは複数の第３のピクセルの分類を決定する段階と、を備える、方法。

【請求項2】

コンピューティングシステムによって、
第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが複数の第１のフィルタタイプを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび前記複数の第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第１のフィルタタイプの１つまたは複数と関連付けられた第１のデータおよび前記複数の第２のフィルタタイプの１つまたは複数と関連付けられた第２のデータをそれぞれ含む、１つまたは複数の第３のピクセルを有する、段階と、
前記第３のピクセルの前記複合データを、対象物の１つまたは複数のクラスの格納された複合データと比較する段階と、
前記対応する第１のデータおよび第２のデータを、機械学習モデルを使用して処理することによって、前記１つまたは複数の第３のピクセルと関連付けられた１つまたは複数の関心対象物を識別する段階と、
を備える、方法。

【請求項3】

コンピューティングシステムによって、
第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが複数の第１のフィルタタイプを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび前記複数の第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第１のフィルタタイプの１つまたは複数と関連付けられた第１のデータおよび前記複数の第２のフィルタタイプの１つまたは複数と関連付けられた第２のデータをそれぞれ含む、１つまたは複数の第３のピクセルを有する、段階と、
第３の画像データにアクセスする段階であって、前記第３の画像データが追加の共通のフィルタタイプと関連付けられたデータを有する、段階と、
を備え、
前記複合データを生成する段階が、１つまたは複数の追加のイメージセンサによって生成された１つもしくは複数の画像データを使用する段階を更に有し、前記１つまたは複数の追加のイメージセンサの少なくとも１つが、前記第１のフィルタパターンまたは前記第２のフィルタパターンとは異なる第３のフィルタパターンを有する第３のフィルタアレイを有する、方法。

【請求項4】

前記共通のフィルタタイプのデータに基づいて、前記第１の画像データの１つまたは複数のピクセルおよび前記第２の画像データの１つまたは複数のピクセルの深度情報を計算する段階を更に備える、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記深度情報を計算する段階が、前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定する段階を備える、請求項４に記載の方法。

【請求項6】

各第３のピクセルの空間情報および前記複合データを有するテンソルを生成する段階を更に備える、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記複合データを生成する段階が、前記１つまたは複数の第１のピクセルの前記複数の第１のフィルタタイプの前記第１の画像データと、１つまたは複数の対応する第２のピクセルの前記複数の第２のフィルタタイプの前記第２の画像データとを組み合わせる段階を備え、前記複数の第１のフィルタタイプの前記第１の画像データおよび前記複数の第２のフィルタタイプの前記第２の画像データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第１の画像データおよび前記第２の画像データの１つもしくは複数から計算されたデータを備える、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記複数の第１のフィルタタイプが特定の色または偏光のフィルタを備える、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記第１のフィルタパターンおよび前記第２のフィルタパターンにおける共通の前記フィルタタイプの相対位置が同じである、請求項１から８のいずれか一項に記載の方法。

【請求項10】

請求項１から３のいずれか一項に記載の方法に含まれる動作をコンピュータに実行させる、プログラム。

【請求項11】

前記共通のフィルタタイプのデータに基づいて、前記第１の画像データの１つまたは複数のピクセルおよび前記第２の画像データの１つまたは複数のピクセルの深度情報を計算することを更に前記コンピュータに実行させる、請求項１０に記載のプログラム。

【請求項12】

前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定することを更に前記コンピュータに実行させる、請求項１１に記載のプログラム。

【請求項13】

前記第３のピクセルの位置情報および前記複合データを備えるテンソルを生成することを更に前記コンピュータに実行させる、請求項１０から１２のいずれか一項に記載のプログラム。

【請求項14】

前記１つまたは複数の第１のピクセルの前記複数の第１のフィルタタイプのデータと、１つまたは複数の対応する第２のピクセルの前記複数の第２のフィルタタイプのデータとを組み合わせることを更に前記コンピュータに実行させ、前記複数の第１のフィルタタイプおよび前記複数の第２のフィルタタイプの前記データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第１の画像データおよび前記第２の画像データの１つもしくは複数から計算されたデータを備える、請求項１０から１３のいずれか一項に記載のプログラム。

【請求項15】

コンピューティングシステムであって、
１つまたは複数のプロセッサと、
前記プロセッサのうち１つまたは複数に結合された１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記プロセッサのうち１つまたは複数によって実行されると、前記コンピューティングシステムに動作を実施させるように動作可能な命令を有する、１つまたは複数のコンピュータ可読非一時的記憶媒体と、を備え、前記動作が、
請求項１から３のいずれか一項に記載の方法に含まれる段階を備える、コンピューティングシステム。

【請求項16】

前記命令が、前記共通のフィルタタイプのデータに基づいて、前記第１の画像データの１つもしくは複数のピクセルおよび前記第２の画像データの１つもしくは複数のピクセルの深度情報を計算するように更に動作可能である、請求項１５に記載のコンピューティングシステム。

【請求項17】

前記命令が、前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定するように更に動作可能である、請求項１６に記載のコンピューティングシステム。

【請求項18】

前記命令が、前記第３のピクセルの位置情報および前記複合データを備えるテンソルを生成するように更に動作可能である、請求項１５から１７のいずれか一項に記載のコンピューティングシステム。

【請求項19】

前記命令が、前記１つまたは複数の第１のピクセルの前記複数の第１のフィルタタイプのデータと、１つまたは複数の対応する第２のピクセルの前記複数の第２のフィルタタイプのデータとを組み合わせるように更に動作可能であり、前記複数の第１のフィルタタイプおよび前記複数の第２のフィルタタイプの前記データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第１の画像データおよび前記第２の画像データの１つもしくは複数から計算されたデータを備える、請求項１５から１８のいずれか一項に記載のコンピューティングシステム。

【発明の詳細な説明】

【背景技術】

【0001】

光学カメラは、静止画像または映像を取得するように構成されたイメージセンサを含むことがある。一例として、限定ではないが、光学カメラは、電荷結合素子（ＣＣＤ）イメージセンサまたは相補型金属酸化膜半導体（ＣＭＯＳ）アクティブピクセルイメージセンサを含むことがある。特定の実施形態では、ＣＭＯＳイメージセンサはフィルタアレイを含むことがある。一般的なフィルタアレイは、光の特定の特徴（例えば、波長または偏光）の情報を取得するように調整されたフィルタのモザイクを有する。

【0002】

多重スペクトルイメージングは、多くの実際のアプリケーションを改善するのに使用されたことがある。例示の適用例は、自律車両のナビゲーション、ロボット用途、または空中作業台からの森林検査を含んでもよい。一例として、限定ではないが、成功するナビゲーション（例えば、支援式または自律）は、路上にある障害物の適時の検出および認識に依存しているが、フィルタアレイのスペクトル外にある波長のスペクトルを検出することは、困難であって計算集約的であることがある。

【図面の簡単な説明】

【0003】

【図1】一例のフィルタアレイを有するイメージセンサを示す断面図である。

【0004】

【図2】一例の多重チャネルの組み合わせを有するフィルタアレイを含むカメラの概略を示す図である。

【0005】

【図3】自動車用カメラシステムの一例の概略を示す図である。

【0006】

【図4】一例のコスト計算を示す図である。

【0007】

【図5】複合データを生成する一例の方法を示す図である。

【0008】

【図6】輸送管理環境の一例のブロック図である。

【0009】

【図7】コンピューティングシステムの一例を示す図である。

【発明を実施するための形態】

【0010】

以下の記載で、様々な実施形態について記載する。説明目的で、実施形態の徹底的な理解を提供するために、具体的な構成および詳細について説明する。しかしながら、実施形態はかかる具体的な詳細なしで実施されてもよいことも、当業者には明白となるであろう。更に、記載する実施形態が曖昧にならないようにするため、良く知られている特徴は省略または単純化されることがある。それに加えて、本明細書に開示する実施形態は単なる例であり、本開示の範囲はそれらに限定されない。特定の実施形態は、上記に開示した実施形態の構成要素、要素、特徴、機能、動作、または段階の全てもしくは一部を含むか、あるいはいずれも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とした添付の特許請求の範囲に開示され、１つのクレーム分類、例えば方法において言及される任意の特徴が、別のクレームカテゴリ、例えばシステムにおいて請求される場合もある。添付の特許請求の範囲における従属または後方参照は、形式上の理由でのみ選択される。しかしながら、任意の先行クレームに対する意図的な後方参照（特に、多項従属）の結果による任意の主題も同様に請求することができ、それによってクレームおよびその特徴の任意の組み合わせが開示され、添付の特許請求の範囲において選択される従属にかかわらずそれらを請求することができる。請求することができる主題は、添付の特許請求の範囲に提示されるような特徴の組み合わせだけではなく、特許請求の範囲における特徴の他の任意の組み合わせも備え、特許請求の範囲で言及される各特徴を、特許請求の範囲における他の任意の特徴または他の特徴の組み合わせと組み合わせることができる。更に、本明細書に記載もしくは描写する実施形態および特徴のいずれも、別個のクレームで、ならびに／あるいは本明細書に記載もしくは描写する任意の実施形態または特徴との、あるいは添付の特許請求の範囲の特徴のうち任意のものとの任意の組み合わせで、請求することができる。

【0011】

光学カメラは、相補型金属酸化膜半導体（ＣＭＯＳ）アクティブピクセルイメージセンサと、フィルタアレイとを含んでもよい。フィルタアレイは、更に詳細に後述するが、入射光の特定の性質に応答する特徴を有するフィルタのモザイクである。一例として、限定ではないが、フィルタアレイは、入射光の特定の波長に応答する特徴の組み合わせを有してもよい。別の例として、フィルタアレイは、特定の偏光（例えば、０°、４５°、９０°、１３５°、または任意の適切な偏光）を有する入射光の成分に応答する、フィルタの組み合わせを有してもよい。異なる偏光を使用して取得されるデータは、油がある、濡れた、または凍った路面に共通である、鏡面反射を検出するのに使用されてもよい。これは、例えば、路面摩擦係数を画像から推定するのに使用されてもよい。更に、偏光は、空に対応するピクセルを他のピクセルから区別する助けとして使用されてもよい。深度推定に関する一般的な不良モードは、空が光学カメラから遠く離れていないと予測することによって、空に対する深度予測が不適正になるものである。

【0012】

一例として、限定ではないが、光学カメラから取得した生データは、個々のフォトサイトの未修正スペクトル情報を格納してもよいが、多くの用途では、画像信号プロセッサ（ＩＳＰ）を使用して、各フォトサイトに対するフィルタアレイの特徴一式に対応するデータを推論して、フル解像度の画像が生成されてもよい。一例として、限定ではないが、赤フィルタを有するフォトサイトは、主に赤色に対応するスペクトルの波長範囲に対応する入射光の部分に応答するが、ＩＳＰは、隣接するフォトサイトからのデータに基づいて、緑色および青色に対応するスペクトルの波長範囲に対応する信号を推定してもよい。別の例として、０°偏光を有するフォトサイトは、主に０°偏光に対応する入射光の部分に応答するが、ＩＳＰは、隣接するフォトサイトからのデータに基づいて、９０°偏光データに対応する信号を推定してもよい。フィルタの特徴外にある特徴の検出における困難は、これら他の特徴を有する障害物を認識する際のレイテンシにつながることがあり、それがひいては、これらの障害物を回避するための介入の数が増加することにつながることがある。一例として、限定ではないが、オレンジ色（例えば、「セーフティ」オレンジ）に対応するスペクトルは、多くのフィルタアレイで比較的低いスペクトル応答を有することがあり、それによって、更に詳細に後述するように、交通信号の注意信号を検出すること、または建設工事領域（例えば、オレンジの作業コーンもしくはオレンジの機器）を回避することが困難になることがある。

【0013】

本明細書では、特徴に対する言及は、例えばスペクトル（色）、偏光、または温度など、光と関連付けられた品質を指す。更に、本明細書のフィルタタイプに対する言及は、光と関連付けられた特定の特徴を指す。一例として、限定ではないが、赤色もしくは緑色に対応するスペクトルに対する、または垂直もしくは４５°偏光フィルタの偏光に対するフィルタタイプである。複数のカメラのモザイクは、少なくとも１つの他のカメラのモザイクと共通の特徴を有するモザイクにおける、少なくとも１つの対応するフィルタを含んでもよい。一例として、限定ではないが、第１のフィルタアレイは、赤、緑、青、および可視スペクトルのフィルタの組み合わせを有してもよく、第２のフィルタアレイは、赤、オレンジ、緑、および可視スペクトルのフィルタの組み合わせを有してもよい。特定の実施形態では、共通または参照フィルタ素子は、それぞれのフィルタアレイを使用して取得された画像からピクセルの深度を推定するのに使用されてもよい。更に、フィルタアレイの特徴からのデータから干渉または推定された画像情報のスーパーセットが組み合わされて、多重スペクトル多重偏光画像が生成されてもよく、その場合、フィルタアレイの各特徴はデータのチャネルに寄与してもよい。更に詳細に後述する実施形態は、多重スペクトル多重偏光画像のデータを使用して、画像の中から対象物または１つもしくは複数の対象物を決定してもよい。

【0014】

特定のフィルタの一次応答外にある入射光の特徴は、更に詳細に後述するように、センサの関連するフォトサイトにおける応答の低減を誘発する。複数のカメラからの１つまたは複数のフォトサイトの深度情報を決定することによって、特に特徴なしの領域（例えば、空白の壁）を含むシーンに関して、コスト集約計算に基づいてカメラ間でのステレオマッチングを決定するのに使用されてもよい。換言すれば、１つのイメージセンサにおける特定のフォトサイトの深度、および別のイメージセンサにおける対応するフォトサイト位置が、同じシーンを取得している対応するフォトサイト間における空間オフセットの量を推定するのに使用されてもよい。同じシーンを取得する異なるイメージセンサにおけるフォトサイト間の対応を決定することによって、多様なフィルタアレイを使用して取得されたデータを含む多重スペクトル多重偏光画像が、対象物検出、対象物分類、または画像セグメント化のために生成されてもよい。

【0015】

本明細書に記載する実施形態は、多重スペクトルデータを提供し、従来は既存のイメージセンサを使用して識別するのが困難である、特定の波長を決定することによって、様々なプラットフォーム、システム、または方法、特に周囲環境の正確な特性付けおよび知覚が重要であるものに有益であってもよい。一例として、限定ではないが、本明細書に記載する実施形態を使用して生成される多重スペクトル画像は、車両（例えば、自律、半自律、または従来のマニュアル車両）が（例えば、コンピュータビジョン技術を使用して）その周囲環境を理解し、情報に基づいて適宜判断する能力を改善してもよい（例えば、改善されたナビゲーションおよび運転上の判断、危険回避、緊急応答、特定の色の交通標識に対する応答など）。同様に、有人または無人航空機（ＵＡＶ）の操縦者は、コンピュータ支援の基になる基礎的データの改善および強化により、改善されたコンピュータ支援を用いて飛行しナビゲートすることができてもよい。例えば、ＵＡＶは、障害物（例えば、木、建物、および鳥）ならびに非障害物（例えば、雲）としての対象物を検出し分類する能力において、改善された信頼度でナビゲートすることができてもよい。別の例として、ロボットハンドリングシステムは、ロボットのビジョンシステムが、対象物の固有の色、多重スペクトル、および／または多重偏光シグネチャに基づいて、一括して様々な対象物を認識することができる場合、より効率的に働いてもよい。別の例として、自動収穫（例えば、果物）は、知覚しづらい色（例えば、オレンジ、紫、ピンクなど）を有する農産物を検出および認識できることによって、改善されてもよい。組立ラインにおける部品の欠陥の自動検出は、視覚画像だけを使用して検出するのは難しいことがある欠陥を、多重スペクトル多重偏光シグネチャが検出するのを利用して利益を得てもよい。

【0016】

図１は、一例のフィルタアレイを有するイメージセンサの断面を示している。一例として、限定ではないが、光学カメラは、静止画像または映像を取得するように構成されたイメージセンサ１０２を使用する。光学カメラは、ＣＣＤまたはＣＭＯＳアクティブピクセルイメージセンサを含んでもよい。光学カメラは、道路、車線区分線、道路標識、交通信号、車両、人、動物、または外部環境に存在する他の目に見える関心対象物を認識するのに使用されてもよい。イメージセンサ１０２は、入射光の量に比例する信号をそれぞれ生成するフォトサイト（例えば、フォトダイオード、伝達ゲート、浮遊拡散、または任意の好適な感光素子）のアレイを含む。図１の例に示されるように、イメージセンサ１０２は、イメージセンサ１０２の上面の上に位置するフィルタアレイ１０４を含んでもよい。特定の実施形態では、フィルタアレイ１０４はマイクロレンズアレイ（図示なし）の下方にあってもよい。図１の例に示されるように、２×２のフィルタアレイ１０４は、特定のフィルタタイプ（例えば、特定の波長範囲もしくは偏光タイプ）をそれぞれ有する、特徴のパターンまたはモザイク（例えば、特定の波長範囲の光を通過させる波長フィルタ、もしくは特定の偏光の光を通過させる偏光子）を形成する、領域１０６Ａ～Ｄを含んでもよい。チャネルは、その特定の波長における光の強度のデータ、面法線および深度を計算するための異なる偏光のデータ、または画像内の対象物の位置に基づいてピクセルの速度を計算するためのデータを提供してもよい。更に、各領域１０６Ａ～Ｄは、例えば、特定の波長フィルタおよび特定の偏光フィルタなど、複数のフィルタタイプを含んでもよい。各領域１０６Ａ～Ｄは、イメージセンサ１０２の特定のフォトサイトに対応してもよい。図１の例に示されるように、領域１０６Ａは、更に詳細に後述するように、多様なフィルタタイプを有するフィルタのパターンを形成する、領域１０６Ａ～Ｄの２×２のサブセットを含んでもよい。本開示は、特定の寸法のパターンを有するフィルタを記載し例証しているが、本開示は、例えば４×４、１３２×１３２、または１０８０×１０８０など、任意の好適な寸法を有するパターンを考慮する。

【0017】

図２は、一例のフィルタタイプの組み合わせを有するフィルタアレイを有するカメラの概略図を示している。シーンは、視野（ＦＯＶ）または視錐台が重なり合う複数の光学カメラ（例えば、カメラ１およびカメラ２）を使用して、三次元（３Ｄ）で再構築されてもよい。ステレオ再構築は、視錐台が重なり合ったカメラから導き出される情報に基づいて得られる、深度および３Ｄ構造の知覚である。光学カメラは異なる横方向位置に位置するので、両眼視差により、２つの異なる視線に沿って見た対象物の見かけの位置には知覚される変位または差がある。変位は、脳の視覚皮質で処理されて深度知覚をもたらす。短縮遠近法により、異なる位置から観察したとき、近くの対象物は遠くの対象物よりも大きい視差を示すので、視差は距離を決定するのに使用することができる。

【0018】

一例として、限定ではないが、カメラシステム２００は、少なくとも部分的に重なり合う視錐台を有する複数（例えば、２つ以上）の光学カメラを含んでもよい。別の例として、車両の光学カメラは、３Ｄ視覚データを取得するため、所定数（例えば、６つ）の対として組織化されてもよい。特定の実施形態では、外部環境の３Ｄ再構築は、複数（例えば、２つ以上）の光学カメラの多重スペクトル多重偏光データからの画像データを使用して実施されてもよい。図２の例に示されるように、カメラシステム２００は、ＦＯＶまたは視錐台の少なくとも部分的な重なりを有する複数のカメラ、カメラ１およびカメラ２を含んでもよい。一例として、限定ではないが、３Ｄ再構築は、各カメラ（カメラ１およびカメラ２）の複数チャネルデータストリームからの画像を使用して実施されてもよく、チャネルの数は、フィルタアレイ１０４Ａおよび１０４Ｂのフィルタタイプの数に対応してもよい。図２の例に示されるように、ステレオカメラシステム２００は更に、多様なフィルタタイプの組み合わせを有するフィルタアレイ１０４Ａおよび１０４Ｂを使用して得られるチャネルを使用して、３Ｄ多重スペクトル多重偏光画像を再構築するためのデータを生成するように構成された、更に詳細に後述する、画像信号プロセッサ（ＩＳＰ）２０４を含んでもよい。

【0019】

各光学カメラ（例えば、カメラ１）は、イメージセンサと、入ってくる光をイメージセンサの焦点領域上に集光し合焦させる、レンズまたはレンズアセンブリとを含んでもよい。一例として、限定ではないが、光学カメラ（カメラ１およびカメラ２）は、光をイメージセンサ上に合焦させるのに、魚眼レンズ、超広角レンズ、広角レンズ、または標準レンズを含んでもよい。本開示は、特定のイメージセンサおよびフィルタアレイを有する特定の光学カメラを記載し例証しているが、本開示は、任意の好適な特徴を有する任意の好適なイメージセンサおよびフィルタアレイを有する、任意の好適な光学カメラを考慮する。

【0020】

更に詳細に上述したように、カメラ１のイメージセンサは、フィルタタイプの特定の組み合わせを有するフィルタアレイ１０４Ａを含んでもよい。特定の実施形態では、フィルタアレイ１０４Ａは、フィルタアレイ１０４Ｂのフィルタタイプの組み合わせとは異なる、フィルタタイプの組み合わせを有してもよい。一例として、限定ではないが、フィルタアレイ１０４Ａは、図２の例に示されるように、フィルタアレイ１０４Ｂのスペクトルの組み合わせとは異なるスペクトルの組み合わせを有してもよい。特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、波長１、波長２、波長３、または波長４に対するフィルタを含んでもよいフィルタタイプの組み合わせを含む、Ｎ×Ｎ（Ｎは２以上）の領域のサブセットのパターンを含んでもよい。特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、偏光１、偏光２、偏光３、または偏光４に対する偏光フィルタの組み合わせを含んでもよいフィルタタイプの組み合わせを含む、Ｎ×Ｎ個（Ｎは２以上）の領域のサブセットのパターンを含んでもよい。一例として、限定ではないが、偏光１、偏光２、偏光３、および偏光４はそれぞれ、０°、４５°、９０°、および１３５°に対応してもよい。更に、フィルタアレイ１０４Ａおよび１０４Ｂは、波長フィルタおよび偏光フィルタの任意の好適な組み合わせを含んでもよい。

【0021】

特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、フィルタアレイ１０４Ａおよび１０４Ｂの間で異なるモザイク内の空間位置を有する、参照フィルタタイプを含んでもよい。この場合、ＭＬアルゴリズムは既知の位置オフセットを相殺してもよい。特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、図２の例に示されるように、両方のフィルタアレイ１０４Ａおよび１０４Ｂに共通であるモザイク内の空間位置を有する、参照フィルタタイプを含んでもよい。一例として、限定ではないが、２×２のパターンまたはモザイクの場合、１０４Ａおよび１０４Ｂのモザイクの左下は、「透明」または可視スペクトルのフィルタを参照フィルタタイプとして含んでもよい。更に詳細に後述するように、可視スペクトルフィルタに対応するフォトサイトからのデータは、重なり合う視錐台を有する２つ以上のカメラ（例えば、カメラ１およびカメラ２）におけるピクセル間の対応を確立し、フィルタアレイ１０４Ａおよび１０４Ｂのフィルタタイプの複合データを含む、多重スペクトル多重偏光画像を生成するのに使用されてもよい。本開示は、特定の参照または共通フィルタタイプを有するフィルタアレイを記載し例証しているが、本開示は、例えば、特定の色もしくは偏光など、任意の好適な参照または共通フィルタタイプを考慮する。

【0022】

特定の実施形態では、カメラ１のイメージセンサはフィルタアレイ１０４Ａを含んでもよい。フィルタアレイ１０４Ａまたは１０４ＢのＮ×Ｎのパターンは、色フィルタタイプ、偏光フィルタタイプ、またはそれらの任意の組み合わせを含んでもよい。一例として、限定ではないが、フィルタアレイ１０４Ａは、赤、垂直偏光、青、および可視スペクトルフィルタを含むフィルタタイプの組み合わせを有してもよく、フィルタアレイ１０４Ｂは、水平偏光、４５°偏光、オレンジ、および可視スペクトルフィルタを含むフィルタタイプの組み合わせを有してもよい。特定の実施形態では、カメラ１およびカメラ２の異なるフィルタの組み合わせを使用して取得される画像が、多重スペクトル多重偏光画像を再構築するのに使用されてもよい。多重スペクトル多重偏光画像は、複数（例えば、３から１６）のフィルタタイプまたはチャネルからの複合データを使用して構築されてもよい。特定の実施形態では、深度マップは、更に詳細に後述するように、異なるフィルタタイプの組み合わせを有するフィルタアレイ(例えば、１０４Ａおよび１０４Ｂ）を有するカメラ１およびカメラ２からの複合データを使用して、多重スペクトル画像を再構築するのに使用されてもよい。本開示は、特定のフィルタタイプの組み合わせを有するフィルタアレイを記載し例証しているが、本開示は、フィルタタイプおよび特徴の任意の好適な組み合わせを有する任意の好適なフィルタアレイを考慮する。

【0023】

図３は、カメラシステムの一例の概略図を示している。図３の例に示されるように、各光学カメラ（例えば、カメラ１およびカメラ２）は、それぞれの同軸ケーブルを介した電源供給（ＰｏＣ）のシリアルリンク３０４を通して、カメラインターフェース基板（ＣＩＢ）３０２に接続されてもよい。特定の実施形態では、ＣＩＢ ３０２は、車両内または車両外（例えば、屋根）でセンサアレイ内に搭載されてもよい。更に、ＣＩＢ ３０２は、そのシリアルリンク（例えば、３０４）に接続された、それぞれの光学カメラ（例えば、カメラ１）に送信される電力、ならびにタイミングおよび制御（例えば、Ｉ^２Ｃ）データと、それぞれの光学カメラ（例えば、カメラ１）から受信される画像／映像データ（例えば、ＭＩＰＩ）とを多重化してもよい。ＣＩＢ ３０２に結合されたタイミングシステム３０６は、それぞれのシリアルリンク３０４を通して、同期（シンク）パルスをカメラ１およびカメラ２に提供する。更に、タイミングシステム３０６は、メインコンピュータ３０８に結合され、重なり合う視錐台を有する光学カメラによって取得されるデータのタイムスタンプ情報を提供する。特定の実施形態では、外界とのインターフェースのメインコンピュータ３０８が、車両の機能全体を制御する。本開示は、構成要素の特定の構成を有する特定のカメラシステムを記載し例証しているが、本開示は、構成要素の任意の好適な構成を有する任意の好適なカメラシステムを考慮する。

【0024】

特定の実施形態では、ＣＩＢ ３０２は、イメージセンサからのデータを処理して、フィルタタイプの多様な組み合わせからのデータを組み合わせる複合データを生成するように構成された、更に詳細に上述したＩＳＰを含んでもよい。特定の実施形態では、関心の特徴またはフィルタタイプをフィルタアレイのモザイクに含めることによって、ＩＳＰを使用せずに対象物を検出することを可能にしてもよい。一例として、限定ではないが、機械学習（ＭＬ）アルゴリズムは、関心色（例えば、オレンジ）を有する対象物を検出し、これらの対象物を含有する画像の部分のみを処理することができてもよい。更に、関心色を有する対象物は、フォトサイトからのデータを使用して、これらのフォトサイトからのデータ（例えば、強度に比例する信号）の値が所定の閾値よりも大きいことに基づいて検出されてもよい。

【0025】

ＩＳＰは、各フォトサイトに存在しない特徴またはフィルタタイプに対応するデータを外挿するように構成されてもよい。例えば、ＩＳＰは、隣接するフォトサイトからのデータに基づいて、赤色、青色、および緑色に対応する波長フィルタを有するフォトサイトに対して、データを内挿してもよい。更に、複数のカメラによって取得される各画像のピクセルに対して、ＩＳＰは、更に詳細に後述するように、各々の画像で利用可能なチャネルの全てに対応するデータを組み合わせて、一連の複合データまたは特徴マップにするように構成されてもよい。

【0026】

図４は、一例のコスト計算を示している。特定の実施形態では、メインコンピュータまたは他のコンピューティングシステムは、多様なフィルタアレイからの複合データに基づいて、直接測定できない特性に対する値を導き出してもよい。一例として、限定ではないが、コンピューティングシステムは、異なる偏光フィルタタイプを有するフィルタアレイからのデータに基づいて、各ピクセルの面法線を推定するように構成されてもよい。更に、コンピューティングシステムは、ピクセルの深度、ピクセルと関連付けられた速度を推定するか、またはオクルージョンマスクを推定してもよい。特定のシーンに対するオクルージョンマスクは、シーンにおける特定のピクセルが、シーンの少なくとも一部を取得する他の光学カメラの画像において可視であるか否かの情報を提供する。

【0027】

深度マップは、視野（ＦＯＶ）内の対象物の表面に対応する、各ピクセルの距離に関連する情報を含有する、画像または画像チャネルである。特定の実施形態では、深度情報は、画像に対するコストボリュームを計算することによって決定されてもよい。コストボリュームは、各々のピクセルにおけるコストの値を有する、３Ｄ（例えば、ｘ、ｙ、および視差ΔＸ）ルックアップテーブルである。コストボリュームは、ｘ、ｙ、および視差（ΔＸ）の関数である、単一の画像に対するコストの計算である。コスト（ｘ、ｙ、ΔＸ）はまた、第１の画像のｘ、ｙにおけるピクセルが他のいくつかの画像のピクセルとどの程度良好に一致するかの指標であってもよい（他の画像で比較するピクセルまたはピクセルのパッチの位置は、視差の関数である）。コストは、ピクセルのデータ（例えば、強度）に基づいて計算されてもよい。特定の実施形態では、視差の各値に対するコストは、ピクセルデータの絶対差の合計として計算されてもよい。特定の実施形態では、可視スペクトルピクセルからのデータは、フィルタアレイのフィルタ処理によって影響を受けないので、コストボリュームは、これらのピクセルに対応するイメージセンサのフォトサイトによって取得されるデータに基づいて計算されてもよい。特定の実施形態では、各ピクセルに対する特定の視差値を選択する、コスト集約が実施される。図４の例に示されるように、コスト４０２は視差ΔＸの関数として計算されてもよい。特定の実施形態では、視差ΔＸの「適正」値は、最低コスト４０４のΔＸ値であってもよい。いくつかの例では、ほぼ同じコスト４０２を有する視差ΔＸのいくつかの値がある。特定の実施形態では、視差ΔＸの最良値は、コストボリュームがピクセル類似度に対するコストを最小限に抑えるように、各々のピクセルにおける視差ΔＸの値を求めるより大きいシステムに、コストボリュームを組み込むことによって決定されてもよく、特定の実施形態では、解の全体的な滑らかさを測定する他のコスト項を含んでもよい。換言すれば、滑らかな３Ｄ表面の場合、隣接するピクセルの視差ΔＸが類似していることが予期される。

【0028】

Δｘの値を決定することで、シーンを取得し、外部環境の多視点ステレオ再構築に使用される、画像中のピクセル間の空間的対応の情報が提供される。特定の実施形態では、深度情報は、対応する画像におけるピクセル間の空間的相関を決定するのに使用されてもよく、異なるフィルタアレイまたはカメラ（例えば、２つ以上）によって取得される特徴に対する値は、フル解像度の多重スペクトル多重偏光画像の各ピクセルに割り当てられてもよい。換言すれば、第１のイメージセンサで特定のフォトサイトによって取得される赤の値、および第２のイメージセンサで特定の偏光を有する対応するフォトサイトによって取得される強度値が、多重スペクトル多重偏光画像のピクセルに割り当てられてもよい。一例として、限定ではないが、ハーフ解像度画像は、フィルタアレイのＮ×Ｎのモザイクからのデータを組み合わせて単一のピクセルにすることによって生成されてもよく、その場合、単一のピクセルは、Ｎ×Ｎのモザイクの特徴全てからのデータを含む。一例として、限定ではないが、第１のカメラのフィルタアレイの特徴は、可視スペクトル、赤、青、およびオレンジの、Ｎ×Ｎのスペクトルの組み合わせを含んでもよい。第２のカメラは、可視スペクトル、赤、青、および緑に対応する特徴のＮ×Ｎのモザイクを含むフィルタアレイを有してもよい。深度が両方の画像で推定されると、可視スペクトル、赤、青、緑、およびオレンジのフィルタタイプに対して取得されたデータを有する、ピクセルを含むハーフ解像度画像が生成されてもよい。

【0029】

特定の実施形態では、シーンの第１の画像におけるピクセルの深度が推定された後、ＩＳＰまたはＭＬアルゴリズムは、対応するピクセルが第２の画像に現れる位置を決定することができ、または第２のカメラがオクルージョンマスクに基づいてピクセルを取得できないと決定することができる。換言すれば、深度の推定は、対応するピクセルからのデータの内挿、またはデモザイクを支援する。本開示は、特定の特徴の組み合わせを有するフィルタアレイを記載し例証しているが、本開示は、例えば色、偏光、またはＩＲ（熱）など、特徴の任意の好適な組み合わせを有する任意の好適なフィルタアレイを考慮する。これらの特徴は、シーンの深度マップを計算する情報を提供してもよく、マップは次に、データのデモザイク、または特定のピクセルによって直接測定されない特徴の内挿を実施するのに使用されてもよい。

【0030】

特定の実施形態では、異なる偏光を使用してフィルタ処理される入射光からのデータを同時に取得することで、より正確な３Ｄ再構築が可能になる。一例として、限定ではないが、異なる偏光を有するデータの解析によって、面法線推定が改善されることがあるが、純粋に物理学に基づくモデルには曖昧さが残り、それはＭＬアルゴリズムを使用して解決することができる。各偏光タイプ（例えば、垂直または４５°）からの画像データは異なる情報を提供し、それは次に、面法線を決定するのに使用されてもよい。特定の実施形態では、生の偏光データをＭＬアルゴリズムに直接適用して、面法線が抽出され、深度マッピングが改善されてもよい。異なる偏光を通して画像データを獲得することで、光学カメラの視錐台における特徴なしの対象物を検出する助けとなる、より正確な深度マッピングが可能になる。複数のカメラからのデータを３Ｄ再構築する場合、第１の光学カメラの視錐台における特定の位置と、他の光学カメラの視錐台における対応する位置との識別は、特に、特徴がない対象物上の位置を識別するのを支援する目立った特徴が不足している、特徴がない対象物（例えば、白い壁）の場合、困難なことがある。異なる偏光を有するフィルタを通して取得される画像データは、３Ｄ環境を再構築するための制約条件として使用する、面法線の推定値を得るのに使用されてもよい。

【0031】

特定の実施形態では、偏光フィルタは、１つまたは複数の光学カメラのフィルタアレイと統合されてもよい。一例として、限定ではないが、フィルタのＮ×Ｎの各サブセット内にある各フィルタは、異なる偏光を有してもよい。一例として、限定ではないが、第１のフィルタタイプは垂直偏光または９０°であってもよく、第２のフィルタタイプは水平偏光または０°であってもよく、第３のフィルタタイプは４５°偏光であってもよい。偏光されたフィルタを使用することで、異なる偏光を使用してフィルタ処理された入射光からデータを同時に獲得することが可能になってもよく、これは、シーン内の対象物が移動している場合に映像またはシーンを取得するのに有用である。対照的に、多重偏光データは、連続画像の間で回転させられる、調節可能な偏光フィルタを有する単一のカメラによって取得されてもよいが、この場合、映像を取得することは不可能である。各偏光タイプ（例えば、垂直、水平、または４５°）からの画像データは異なる情報を提供し、それは面法線を決定するのに使用されてもよい。特定の実施形態では、面法線は、異なる偏光フィルタタイプからのデータを使用して推定されてもよい。面法線は、深度の推定を改良して、更に詳細に上述した、深度マップを生成するのに使用されてもよく、または対象物検出のためのＭＬアルゴリズムへの入力として使用されてもよい。

【0032】

テンソルは、テンソルのインデックスの数に対応する、関連するランクを有する。例えば、ランク０のテンソルはスカラーであり、ランク１のテンソルはベクトルであり、ランク２のテンソルは２Ｄアレイである。特定の実施形態では、ＩＳＰは、空間座標（例えば、ｘおよびｙ座標）と、データの１つまたは複数のチャネルとを含むテンソルを生成してもよく、チャネルに対応する第３のインデックスＣは複数の値を有してもよい。一例として、限定ではないが、Ｃ＝０は赤に対応してもよく、Ｃ＝１は緑に対応してもよく、Ｃ＝２は青に対応してもよく、Ｃ＝３は深度に対応してもよく、またはＣ＝４は面法線のｘ成分に対応してもよい。特定の実施形態では、ＭＬアルゴリズムは、複合データを有するテンソルに対して畳み込みを実施し、追加の特徴または特徴マップを含む新しいテンソルを生成してもよい。畳み込みは、１つの形状またはランクを有するテンソルを入力として取ってもよく、一般的に、ランクは同じであるが形状または充填指数の数が異なるテンソルを出力する。一例として、限定ではないが、畳み込み後、テンソルは、赤、緑、青、他の関心色、ＩＲ、偏光、法線、深度、速度、または他の好適な特徴に対応するデータを含んでもよい。車両の外部環境にある対象物は移動中であってもよく、シーン内にあるこれらの対象物の深度および速度の決定は、シーンフローと呼ばれる。シーンの完全な低レベル知覚には、光学カメラからの距離に加えて、シーン内における対象物の移動速度および方向を決定する必要がある。

【0033】

特定の実施形態では、ＭＬアルゴリズムは、テンソルを受信し、対象物検出、対象物分類、またはセマンティックセグメンテーションのため、連続してまたは同時にいくつかの動作を実行してもよい。特定の実施形態では、フィルタアレイの特徴を用いてＩＳＰによって生成されるテンソルは、ピクセルまたはピクセル群がシーンにおける対象物の特定のクラス（例えば、車もしくは木）に対応するという予測である、対象物分類に使用されてもよい。一例として、限定ではないが、ＩＳＰは、真／偽どちらかの値（例えば、０もしくは１）を含むインデックス、またはピクセル群が対象物の特定のクラスに対応する確率を有する、テンソルを生成してもよい。一例として、限定ではないが、テンソルは、特定のピクセルが車であるか、特定のピクセルが道路に対応するか、または特定のピクセルが木に対応する確率を含んでもよい。特定の実施形態では、複合データを有するテンソルはまた、シーン内の対象物のクラスだけではなく、それらのクラスの空間位置に関する追加情報も提供する、局所化／検出を実施するのに使用されてもよい。特定の実施形態では、複合データを有するテンソルはまた、各ピクセルにそれが包含する対象物または領域の特定のクラスをラベル付けすることができるように、各々のピクセルに対するラベルを推論する、セマンティックセグメンテーションに使用されてもよい。セマンティックセグメンテーションはピクセルレベルで画像を理解している。換言すれば、セマンティックセグメンテーションは、画像の各ピクセルを特定の対象物クラス（例えば、花、人、道路、空、海、または車）に割り当てる。特定の実施形態では、この時点で追加データを有する畳み込みから出力されたテンソルは、畳み込みネットワークの別のレベルへの入力として使用されてもよい。この畳み込みネットワークの次のレベルは、この時点で画像の追加のチャネルを有し、それを用いて、例えば画像全体に関する判断を行う、または各ピクセルのベクトル確率を決定するなど、特定の機能を実施する。

【0034】

図５は、複合データを生成する一例の方法を示している。方法５００は、段階５１０で始まってもよく、コンピューティングシステムは、第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された、第１の画像データにアクセスしてもよい。特定の実施形態では、第１のフィルタパターンは複数の第１のフィルタタイプを含む。一例として、限定ではないが、第１のフィルタタイプは、特定の波長または偏光に対応するフィルタを含んでもよい。特定の実施形態では、第１のフィルタタイプの第１のサブセットは特定の波長のフィルタを含んでもよく、第１のフィルタタイプの第２のサブセットは特定の偏光のフィルタを含んでもよい。段階５２０で、コンピューティングシステムは、第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された、第２の画像データにアクセスしてもよい。特定の実施形態では、第２のフィルタパターンは複数の第２のフィルタタイプを含む。更に、第２のフィルタタイプおよび第１のフィルタタイプは、少なくとも１つの共通のフィルタタイプを有する。一例として、限定ではないが、第１および第２のフィルタタイプの両方に共通のフィルタタイプは、透明フィルタであってもよい。段階５３０で、コンピューティングシステムは、共通のフィルタタイプと関連付けられた第１の画像データの部分、および共通のフィルタタイプと関連付けられた第２の画像データの部分に基づいて、第１の画像データの１つまたは複数の第１のピクセルと第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定してもよい。更に詳細に上述したように、対応は、第１の画像データと複数の（例えば、２つを超える）画像の画像データとの間で決定されてもよい。

【0035】

段階５３５で、コンピューティングシステムは、共通のフィルタタイプのデータに基づいて、第１の画像データの１つまたは複数のピクセルおよび第２の画像データの１つまたは複数のピクセルの深度情報を計算してもよい。特定の実施形態では、深度情報は、第１のフィルタパターンおよび第２のフィルタパターンに共通である透明フィルタの強度を使用して計算される。段階５４５で、コンピューティングシステムは、共通のフィルタタイプと関連付けられた第１の画像データの部分、および共通のフィルタタイプと関連付けられた第２の画像データの部分に基づいて、第１の画像データのピクセルと第２の画像データの対応するピクセルとの間の空間オフセットを決定してもよい。特定の実施形態では、空間オフセットは、空間オフセットの異なる値と関連付けられたコストに基づいて決定される。

【0036】

段階５５０で、コンピューティングシステムは、対応に基づいて、第１の画像データおよび第２の画像データを使用して複合データを生成してもよい。特定の実施形態では、複合データは、多数の第１のフィルタタイプのうち１つもしくは複数と関連付けられた第１のデータと、多数の第２のフィルタタイプのうち１つもしくは複数と関連付けられた第２のデータとをそれぞれ含む、１つまたは複数の第３のピクセルを含む。更に詳細に上述したように、複合データは、第１の画像データおよび複数の画像の画像データから生成されてもよい。段階５５５で、コンピューティングシステムは、第３のピクセルの位置情報および複合データを備えるテンソルを生成してもよい。段階５６５で、コンピューティングシステムは、テンソルの複合データに基づいて、１つまたは複数の関心対象物を識別してもよい。

【0037】

特定の実施形態は、適切な場合、図５の方法の１つまたは複数の段階を繰り返してもよい。本開示は、特定の順序で起こるものとして図５の方法の特定の段階を記載し例証しているが、本開示は、任意の好適な順序で起こる図５の方法の任意の好適な段階を考慮する。更に、本開示は、図５の方法の特定の段階を含む、複合データを生成する一例の方法を記載し例証しているが、本開示は、適切な場合、図５の方法の段階の全てもしくはいくつかを含んでもよい、またはいずれも含まなくてもよい任意の好適な段階を含む、複合データを生成する任意の好適な方法を考慮する。更に、本開示は、図５の方法の特定の段階を実施する特定の構成要素、デバイス、またはシステムを記載し例証しているが、本開示は、図５の方法の任意の好適な段階を実施する、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組み合わせを考慮する。

【0038】

本明細書に記載する実施形態は、様々な文脈で適用可能であり、輸送車両（自律、マニュアル、または半自律運転）で使用される撮像および知覚システム、ロボットシステム、ならびに／あるいは周囲環境の正確な特性付けおよび知覚を利用する任意の好適な用途など、画像から導き出される情報を利用する任意のシステムまたは方法に有益であり得る。一例として、限定ではないが、図６は、多重スペクトル多重偏光イメージングシステムを使用してもよい、輸送管理環境の一例のブロック図を示している。図６に示される例は、車両の観点で（例えば、自動運転、ナビゲーション補助、または危険検出機構に関して）、開示される実施形態を使用しているが、本明細書に記載する実施形態は、航空機、ドローン、ロボット、交通監視システム、人検出システム、マッピングもしくは３Ｄ再構築システム、またはコンピュータビジョンを使用するもしくは画像から導き出される情報を利用する他の任意の好適なシステムなど、他の観点あるいはプラットフォームで使用することもできることが、理解されるべきである。特定の実施形態では、環境は、ユーザ６０１（例えば、乗車提供側もしくは要求側）のユーザコンピューティングデバイス６３０、輸送管理システム６６０、自律車両６４０、および１つまたは複数の第三者システム６７０など、様々なコンピューティングエンティティを含んでもよい。コンピューティングエンティティは、任意の好適なネットワーク６１０を通じて通信接続されてもよい。一例として、限定ではないが、ネットワーク６１０の１つまたは複数の部分は、アドホックネットワーク、エクストラネット、仮想私設ネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆交換電話網（ＰＳＴＮ）の一部分、セルラーネットワーク、または上記の任意の組み合わせを含んでもよい。特定の実施形態では、コンピューティングエンティティが互いに通信できるようにする、任意の好適なネットワーク構成およびプロトコルが使用されてもよい。図６は、単一のユーザデバイス６３０、単一の輸送管理システム６６０、車両６４０、複数の第三者システム６７０、および単一のネットワーク６１０を示しているが、本開示は、任意の好適な数のこれらのエンティティそれぞれを考慮する。一例として、限定ではないが、ネットワーク環境は、複数のユーザ６０１、ユーザデバイス６３０、輸送管理システム６６０、自律車両６４０、第三者システム６７０、およびネットワーク６１０を含んでもよい。

【0039】

特定の実施形態では、輸送管理システム６６０は、１つまたは複数のサーバコンピュータを含んでもよい。各サーバは、単一のサーバ、または複数のコンピュータもしくは複数のデータセンタにまたがる分散型サーバであってもよい。サーバは、例えば、非限定的に、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書に記載する機能もしくはプロセスを実施するのに適した別のサーバ、またはそれらの任意の組み合わせなど、様々なタイプのものであってもよい。特定の実施形態では、各サーバは、ハードウェア、ソフトウェア、あるいはサーバによって実装または支援される適切な機能性を実施する、組込み論理構成要素または２つ以上のかかる構成要素の組み合わせを含んでもよい。特定の実施形態では、輸送管理システム６６０は、１つまたは複数のデータストアを含んでもよい。特定の実施形態では、データストアに格納された情報は、特定のデータ構造にしたがって組織化されてもよい。特定の実施形態では、各データストアは、関係、カラム型、相関、または他の任意の好適なタイプのデータベースシステムであってもよい。本開示は、特定のタイプのデータベースを記載または例証しているが、本開示は、任意の好適なタイプのデータベースを考慮する。

【0040】

特定の実施形態では、車両６４０は、自律車両であって、センサのアレイ６４４と、ナビゲーションシステム６４６と、乗車サービスコンピューティングデバイス６４８とを具備してもよい。特定の実施形態では、一団の自律車両６４０が輸送管理システム６６０によって管理されてもよい。一団の自律車両６４０は、全体または一部が、輸送管理システム６６０と関連付けられたエンティティによって所有されてもよく、または輸送管理システム６６０に関連する第三者エンティティによって所有されてもよい。いずれの場合も、輸送管理システム６６０は、例えば、乗車要求を満たすように選択車両６４０を派遣すること、車両６４０に指示して選択動作（例えば、サービスセンターもしくは充電／給油ステーションに向かう、停車する、直ちに停止する、自己診断する、車室をロック／ロック解除する、音楽ラジオ局を変更する、温度を変更する、および他の任意の好適な動作）を実施させること、車両６４０に指示して選択動作モード（例えば、通常の動作、低速で走行、人間のオペレータの命令で走行、および他の任意の好適な動作モード）を入力させることを含む、自律車両６４０の動作を制御してもよい。

【0041】

特定の実施形態では、車両６４０は、輸送管理システム６６０および第三者システム６７０からデータを受信し、またそれらにデータを送信してもよい。受信データの例としては、例えば、命令、新しいソフトウェアもしくはソフトウェア更新、マップ、３Ｄモデル、訓練済みもしくは訓練されていない機械学習モデル、位置情報（例えば、乗車要求側、自律車両６４０自体、他の自律車両６４０、およびサービスセンターなどの目的地の位置）、ナビゲーション情報、交通情報、気象情報、娯楽コンテンツ（例えば、音楽、ビデオ、およびニュース）、乗車要求側情報、乗車情報、ならびに他の任意の好適な情報を挙げることができる。自律車両６４０から送信されるデータの例としては、例えば、遠隔測定およびセンサデータ、かかるデータに基づいた決定／判定、車両条件または状態（例えば、電池／燃料レベル、タイヤおよびブレーキ条件、センサ条件、速度、走行距離計など）、位置、ナビゲーションデータ、乗客の入力（例えば、車両６４０のユーザインターフェースを通して、乗客は、輸送管理システム６６０および／または第三者システム６７０にデータを送受信してもよい）、ならびに他の任意の好適なデータを挙げることができる。

【0042】

特定の実施形態では、自律車両６４０は、センサ／遠隔測定データを得て処理してもよい。かかるデータは、任意の好適なセンサによって取得されてもよい。例えば、車両６４０は、３６０°回転して、パルスレーザー光を放射し、車両６４０周囲の対象物からの反射光を測定するように構成された、複数のＬｉＤＡＲ送受信機のＬｉＤＡＲセンサアレイを有してもよい。特定の実施形態では、ＬｉＤＡＲ送信信号は、光回折の原理を使用して光線を方向付けるＭＥＭデバイスであってもよい、ゲーテッドライトバルブ（ｇａｔｅｄ ｌｉｇｈｔ ｖａｌｖｅ）を用いて誘導されてもよい。かかるデバイスは、自律車両の周囲３６０°で光線を誘導するのにジンバル式ミラーを使用しないことがある。それよりもむしろ、ゲーテッドライトバルブは、光線を自律車両の周囲における多数の離散的な位置へと方向付けることができるように配置されてもよい、複数の光ファイバのうち１つへと光線を方向付けてもよい。それにより、自律車両の周囲３６０°でデータが取得されてもよいが、回転部品は不要であってもよい。ＬｉＤＡＲは、標的までの距離を測定するのに有効なセンサであり、そのため、自律車両６４０の外部環境の三次元（３Ｄ）モデルを生成するのに使用されてもよい。一例として、限定ではないが、３Ｄモデルは、センサ配置の最大範囲（例えば、５０、１００、または２００メートル）以内の他の車、縁石、岩屑、物体、および歩行者などの対象物を含む外部環境を表してもよい。別の例として、自律車両６４０は、異なる方向を指す光学カメラを有してもよい。カメラは、例えば、道路、車線区分線、道路標識、交通信号、警察、他の車両、および他の任意の目に見える関心対象物を認識するのに使用されてもよい。車両６４０が夜間に「見る」ことができるようにするため、赤外線カメラが据え付けられてもよい。特定の実施形態では、車両は、例えば、路上の歩行者または木の枝などの危険を見分ける、ステレオ視を具備してもよい。別の例として、車両６４０は、例えば、遠くの他の車両および／または危険を検出する、レーダーを有してもよい。更に、車両６４０は、例えば、駐車および障害物検出のための、超音波機器を有してもよい。車両６４０が、周囲の外部世界を検出、測定、および理解できるようにするセンサに加えて、車両６４０は更に、車両自体の状態および条件を検出し自己診断するためのセンサを具備してもよい。例えば、車両６４０は、例えば速度を測定するホイールセンサ、例えば車両の現在の地理位置を決定する全地球測位システム（ＧＰＳ）、ならびに／あるいは移動もしくは運動検出のための慣性測定ユニット、加速度計、ジャイロスコープ、および／または走行距離計システムを有してもよい。これらのセンサの記載は有用性の特定の例を提供するが、当業者であれば、センサの有用性はそれらの例に限定されないことを認識するであろう。更に、有用性の一例は特定のタイプのセンサに関して記載されることがあるが、有用性は、センサの任意の組み合わせを使用して達成されてもよいことが認識されるべきである。例えば、自律車両６４０は、輸送管理システム６６０または第三者システム６７０から得られる予め生成されたマップとともに、自身のＬｉＤＡＲ、レーダー、ソナー、およびカメラからのデータに基づいて、周囲環境の３Ｄモデルを構築してもよい。センサ６４４は、図６では、自律車両６４０の特定の位置に見えているが、センサ６４４は、自律車両６４０の中または上の任意の好適な位置に位置してもよい。センサの位置の例としては、フロントおよびリアバンパー、ドア、フロントガラス、サイドパネル上、または他の任意の好適な位置が挙げられる。

【0043】

特定の実施形態では、自律車両６４０は、処理装置（例えば、１つまたは複数のＣＰＵおよびＧＰＵ）と、メモリと、記憶装置とを具備してもよい。このように、車両６４０は、センサデータの処理、有用な情報の抽出、および適宜の動作を含む、様々な計算および処理タスクを実施するように装備されてもよい。例えば、カメラおよびマシンビジョンモデルによって取得される画像に基づいて、車両６４０は、歩行者、他の車両、車線、縁石、および他の任意の関心対象物など、画像によって取得される特定のタイプの対象物を識別してもよい。

【0044】

図７は、一例のコンピュータシステムを示している。特定の実施形態では、１つまたは複数のコンピュータシステム７００は、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施する。特定の実施形態では、１つまたは複数のコンピュータシステム７００は、本明細書に記載または例証される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム７００で稼働するソフトウェアは、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施するか、あるいは本明細書に記載または例証される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム７００の１つもしくは複数の部分を含む。本明細書では、コンピュータシステムに対する言及は、適切な場合、コンピューティングデバイスを包含してもよく、その逆もまた真である。更に、コンピュータシステムに対する言及は、適切な場合、１つまたは複数のコンピュータシステムを包含してもよい。

【0045】

本開示は、任意の好適な数のコンピュータシステム７００を考慮する。本開示は、任意の好適な物理的形態を取るコンピュータシステム７００を考慮する。一例として、限定ではないが、コンピュータシステム７００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）もしくはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、移動電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうち２つ以上の組み合わせであってもよい。適切な場合、コンピュータシステム７００は、１つもしくは複数のコンピュータシステム７００を含むか、一体型または分散型であるか、複数の位置にまたがるか、複数の機械にまたがるか、複数のデータセンタにまたがるか、あるいは１つもしくは複数のクラウドコンポーネントを１つまたは複数のネットワークに含んでもよい、クラウドに常駐してもよい。適切な場合、１つまたは複数のコンピュータシステム７００は、実質的に空間的または時間的な限定なしに、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施してもよい。一例として、限定ではないが、１つまたは複数のコンピュータシステム７００は、リアルタイムまたはバッチモードで、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施してもよい。１つまたは複数のコンピュータシステム７００は、適切な場合、異なる時間または異なる位置で、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施してもよい。

【0046】

特定の実施形態では、コンピュータシステム７００は、プロセッサ７０２と、メモリ７０４と、記憶装置７０６と、入力／出力（Ｉ／Ｏ）インターフェース７０８と、通信インターフェース７１０と、バス７１２とを含む。本開示は、特定の構成で特定の数の特定の構成要素を有する、特定のコンピュータシステムを記載し例証しているが、本開示は、任意の好適な構成で任意の好適な数の任意の好適な構成要素を有する、任意の好適なコンピュータシステムを考慮する。

【0047】

特定の実施形態では、プロセッサ７０２は、コンピュータプログラムを作成するものなど、命令を実行するためのハードウェアを含む。一例として、限定ではないが、命令を実行するには、プロセッサ７０２は、内部レジスタ、内部キャッシュ、メモリ７０４、または記憶装置７０６から命令を検索し（もしくは取り出し）、それらを復号し実行し、次に１つまたは複数の結果を、内部レジスタ、内部キャッシュ、メモリ７０４、または記憶装置７０６に書き込んでもよい。特定の実施形態では、プロセッサ７０２は、データ、命令、またはアドレスのための１つもしくは複数の内部キャッシュを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ７０２を考慮する。一例として、限定ではないが、プロセッサ７０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含んでもよい。命令キャッシュ内の命令は、メモリ７０４または記憶装置７０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ７０２によるそれらの命令の検索を高速化してもよい。データキャッシュ内のデータは、コンピュータ命令によって操作されるべきメモリ７０４もしくは記憶装置７０６内のデータのコピー、後に続く命令にアクセス可能なプロセッサ７０２によって実行された、またはメモリ７０４もしくは記憶装置７０６に書き込むための以前の命令の結果、あるいは他の任意の好適なデータであってもよい。データキャッシュは、プロセッサ７０２による読出しまたは書込み動作を高速化してもよい。ＴＬＢは、プロセッサ７０２のための仮想アドレス変換を高速化してもよい。特定の実施形態では、プロセッサ７０２は、データ、命令、またはアドレスのための１つもしくは複数の内部レジスタを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ７０２を考慮する。適切な場合、プロセッサ７０２は、１つもしくは複数の論理演算装置（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つもしくは複数のプロセッサ７０２を含んでもよい。本開示は、特定のプロセッサを記載し例証しているが、本開示は、任意の好適なプロセッサを考慮する。

【0048】

特定の実施形態では、メモリ７０４は、プロセッサ７０２が実行する命令、またはプロセッサ７０２が操作するデータを格納する、メインメモリを含む。一例として、限定ではないが、コンピュータシステム７００は、命令を記憶装置７０６または別のソース（別のコンピュータシステム７００など）からメモリ７０４にロードしてもよい。プロセッサ７０２は次に、命令をメモリ７０４から内部レジスタまたは内部キャッシュにロードしてもよい。命令を実行するため、プロセッサ７０２は、命令を内部レジスタまたは内部キャッシュから検索し、それらを復号してもよい。命令の実行中または実行後、プロセッサ７０２は、１つまたは複数の結果（中間結果もしくは最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込んでもよい。プロセッサ７０２は次に、それらの結果の１つまたは複数をメモリ７０４に書き込んでもよい。特定の実施形態では、プロセッサ７０２は、１つもしくは複数の内部レジスタまたは内部キャッシュ内、あるいはメモリ７０４内（記憶装置７０６または他の場所ではない）の命令のみを実行し、１つもしくは複数の内部レジスタまたは内部キャッシュ内、あるいはメモリ７０４内（記憶装置７０６または他の場所ではない）のデータのみを操作する。１つまたは複数のメモリバス（それぞれアドレスバスおよびデータバスを含んでもよい）は、プロセッサ７０２をメモリ７０４に結合してもよい。バス７１２は、更に詳細に後述するように、１つまたは複数のメモリバスを含んでもよい。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサ７０２とメモリ７０４との間に常駐し、プロセッサ７０２の要求によってメモリ７０４にアクセスするのを容易にする。特定の実施形態では、メモリ７０４はランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであってもよい。適切な場合、このＲＡＭはダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。更に、適切な場合、このＲＡＭはシングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の好適なＲＡＭを考慮する。メモリ７０４は、適切な場合、１つまたは複数のメモリ７０４を含んでもよい。本開示は、特定のメモリを記載し例証しているが、本開示は、任意の好適なメモリを考慮する。

【0049】

特定の実施形態では、記憶装置７０６は、データまたは命令のための大容量記憶装置を含む。一例として、限定ではないが、記憶装置７０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光学ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはそれらのうち２つ以上の組み合わせを含んでもよい。記憶装置７０６は、適切な場合、取外し可能または取外し不能（固定）の媒体を含んでもよい。記憶装置７０６は、適切な場合、コンピュータシステム７００の内部または外部であってもよい。特定の実施形態では、記憶装置７０６は不揮発性固体メモリである。特定の実施形態では、記憶装置７０６は読出し専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的に書き換え可能なＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうち２つ以上の組み合わせであってもよい。本開示は、任意の好適な物理的形態を取る大容量記憶装置７０６を考慮する。記憶装置７０６は、適切な場合、プロセッサ７０２と記憶装置７０６との間の通信を容易にする、１つまたは複数の記憶装置制御ユニットを含んでもよい。適切な場合、記憶装置７０６は、１つまたは複数の記憶装置７０６を含んでもよい。本開示は、特定の記憶装置を記載し例証しているが、本開示は、任意の好適な記憶装置を考慮する。

【0050】

特定の実施形態では、Ｉ／Ｏインターフェース７０８は、コンピュータシステム７００と１つまたは複数のＩ／Ｏデバイスとの間で通信するための、１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。コンピュータシステム７００は、適切な場合、これらのＩ／Ｏデバイスのうち１つまたは複数を含んでもよい。これらのＩ／Ｏデバイスのうち１つまたは複数は、人とコンピュータシステム７００との間で通信できるようにしてもよい。一例として、限定ではないが、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうち２つ以上の組み合わせを含んでもよい。Ｉ／Ｏデバイスは１つまたは複数のセンサを含んでもよい。本開示は、任意の好適なＩ／Ｏデバイス、およびそれらのための任意の好適なＩ／Ｏインターフェース７０８を考慮する。適切な場合、Ｉ／Ｏインターフェース７０８は、プロセッサ７０２がこれらのＩ／Ｏデバイスのうち１つまたは複数を駆動できるようにする、１つもしくは複数のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインターフェース７０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース７０８を含んでもよい。本開示は、特定のＩ／Ｏインターフェースを記載し例証しているが、本開示は、任意の好適なＩ／Ｏインターフェースを考慮する。

【0051】

特定の実施形態では、通信インターフェース７１０は、コンピュータシステム７００と１つもしくは複数の他のコンピュータシステム７００または１つもしくは複数のネットワークとの間で通信（例えば、パケットベースの通信など）するための、１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。一例として、限定ではないが、通信インターフェース７１０は、イーサネット（登録商標）または他の任意の有線ベースのネットワークと通信するための、ネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩ（登録商標）ネットワークなどの無線ネットワークと通信するための、無線ＮＩＣ（ＷＮＩＣ）または無線アダプタを含んでもよい。本開示は、任意の好適なネットワーク、およびそのための任意の好適な通信インターフェース７１０を考慮する。一例として、限定ではないが、コンピュータシステム７００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つもしくは複数の部分、あるいはこれらのうち２つ以上の組み合わせを用いて通信してもよい。１つまたは複数のこれらのネットワークにおける１つもしくは複数の部分は、有線または無線であってもよい。一例として、コンピュータシステム７００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ブルートゥース（登録商標）ＷＰＡＮなど）、ＷＩ－ＦＩ（登録商標）ネットワーク、ＷＩ－ＭＡＸネットワーク、セルラー電話ネットワーク（例えば、汎欧州デジタル移動体通信システム（ＧＳＭ（登録商標））ネットワークなど）、または他の任意の好適な無線ネットワーク、あるいはこれらのうち２つ以上の組み合わせを用いて通信してもよい。コンピュータシステム７００は、適切な場合、これらのネットワークのうち任意のものに対する、任意の好適な通信インターフェース７１０を含んでもよい。通信インターフェース７１０は、適切な場合、１つまたは複数の通信インターフェース７１０を含んでもよい。本開示は、特定の通信インターフェースを記載し例証しているが、本開示は、任意の好適な通信インターフェースを考慮する。

【0052】

特定の実施形態では、バス７１２は、コンピュータシステム７００の構成要素を互いに結合する、ハードウェア、ソフトウェア、または両方を含む。一例として、限定ではないが、バス７１２は、アクセラレイテッドグラフィックスポート（ＡＧＰ）または他の任意のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、低ピン数（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の好適なバス、あるいはそれらのうち２つ以上の組み合わせを含んでもよい。バス７１２は、適切な場合、１つまたは複数のバス７１２を含んでもよい。本開示は、特定のバスを記載し例証しているが、本開示は、任意の好適なバスまたは相互接続を考慮する。

【0053】

本明細書では、コンピュータ可読非一時的記憶媒体は、適切な場合、１つもしくは複数の半導体ベースまたは他のタイプの集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光学ディスク、光学ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、他の任意の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうち２つ以上の任意の好適な組み合わせを含んでもよい。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組み合わせであってもよい。

【0054】

本明細書では、「または」は、文脈による別段の明示または別段の指示がない限り、包括的であって排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、文脈による別段の明示または別段の指示がない限り、「Ａ、Ｂ、または両方」を意味する。更に、「および」は、文脈による別段の明示または別段の指示がない限り、共同および個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、文脈による別段の明示または別段の指示がない限り、「共同的または個別的に、ＡおよびＢ」を意味する。

【0055】

本開示の範囲は、当業者であれば理解するであろう、本明細書に記載または例証する例示的実施形態に対する全ての変更、置換、変形、修正、および改良を包含する。本開示の範囲は、本明細書に記載または例証する例示的実施形態に限定されない。更に、本開示は、特定の構成要素、要素、特徴、機能、動作、または段階を含むものとして、本明細書のそれぞれの実施形態を記載し例証しているが、これらの実施形態はいずれも、当業者であれば理解するであろう、本明細書の任意の箇所に記載または例証される構成要素、要素、特徴、機能、動作、または段階のうちいずれかの任意の組み合わせもしくは並べ替えを含んでもよい。更に、添付の特許請求の範囲における、特定の機能を実施するように適合された、配置された、可能である、構成された、可能にされた、動作可能な、または動作する、装置もしくはシステム、あるいは装置もしくはシステムの構成要素に対する言及は、装置、システム、または構成要素がそのように適合されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、それもしくはその特定の機能が活性化されるか、始動されるか、またはロック解除されるか否かにかかわらず、装置、システム、構成要素を包含する。更に、本開示は、特定の利点を提供するものとして特定の実施形態を記載または例証しているが、特定の実施形態は、これらの利点を全く提供しなくても、または一部もしくは全てを提供してもよい。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
コンピューティングシステムによって、
第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが複数の第１のフィルタタイプを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび前記複数の第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第１のフィルタタイプの１つまたは複数と関連付けられた第１のデータおよび前記複数の第２のフィルタタイプの１つまたは複数と関連付けられた第２のデータをそれぞれ含む、１つまたは複数の第３のピクセルを有する、段階と
を備える方法。
〔態様２〕
前記共通のフィルタタイプのデータに基づいて、前記第１の画像データの１つまたは複数のピクセルおよび前記第２の画像データの１つまたは複数のピクセルの深度情報を計算する段階を更に備える、態様１に記載の方法。
〔態様３〕
前記深度情報を計算する段階が、前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定する段階を備える、態様２に記載の方法。
〔態様４〕
各第３のピクセルの空間情報および前記複合データを有するテンソルを生成する段階を更に備える、態様１から３のいずれか一態様に記載の方法。
〔態様５〕
前記複合データを生成する段階が、前記１つまたは複数の第１のピクセルの前記複数の第１のフィルタタイプの前記第１の画像データと、１つまたは複数の対応する第２のピクセルの前記複数の第２のフィルタタイプの前記第２の画像データとを組み合わせる段階を備え、前記複数の第１のフィルタタイプの前記第１の画像データおよび前記複数の第２のフィルタタイプの前記第２の画像データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第１の画像データおよび前記第２の画像データの１つもしくは複数から計算されたデータを備える、態様１から４のいずれか一態様に記載の方法。
〔態様６〕
前記１つまたは複数の第３のピクセルの前記複合データを、対象物の１つまたは複数のクラスの格納された複合データと比較する段階と、
少なくとも前記対応する第１のデータおよび第２のデータを、機械学習モデルを使用して処理することによって、前記１つまたは複数の第３のピクセルの分類を決定する段階と
を更に備える、態様１から５のいずれか一態様に記載の方法。
〔態様７〕
前記１つまたは複数の第３のピクセルの前記複合データを、対象物の１つまたは複数のクラスの格納された複合データと比較する段階と、
前記対応する第１のデータおよび第２のデータを、機械学習モデルを使用して処理することによって、前記１つまたは複数の第３のピクセルと関連付けられた１つまたは複数の関心対象物を識別する段階と
を更に備える、態様１から６のいずれか一態様に記載の方法。
〔態様８〕
第３の画像データにアクセスする段階であって、前記第３の画像データが追加の共通のフィルタタイプと関連付けられたデータを有する、段階を更に備え、前記複合データを生成する段階が、１つまたは複数の追加のイメージセンサによって生成された１つもしくは複数の画像データを使用する段階を更に有し、前記１つまたは複数の追加のイメージセンサの少なくとも１つが、前記第１のフィルタパターンまたは前記第２のフィルタパターンとは異なる第３のフィルタパターンを有する第３のフィルタアレイを有する、態様１から７のいずれか一態様に記載の方法。
〔態様９〕
前記複数の第１のフィルタタイプが特定の色または偏光のフィルタを備える、態様１から８のいずれか一態様に記載の方法。
〔態様１０〕
前記第１のフィルタパターンおよび前記第２のフィルタパターンにおける共通の前記フィルタタイプの相対位置が同じである、態様１から９のいずれか一態様に記載の方法。
〔態様１１〕
第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが複数の第１のフィルタタイプを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび前記複数の第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第１のフィルタタイプの１つまたは複数と関連付けられた第１のデータおよび前記複数の第２のフィルタタイプの１つまたは複数と関連付けられた第２のデータをそれぞれ含む、１つまたは複数の第３のピクセルを有する、段階と
を含む動作をコンピュータに実行させるプログラム。
〔態様１２〕
前記共通のフィルタタイプのデータに基づいて、前記第１の画像データの１つまたは複数のピクセルおよび前記第２の画像データの１つまたは複数のピクセルの深度情報を計算することを更に前記コンピュータに実行させる、態様１１に記載のプログラム。
〔態様１３〕
前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定することを更に前記コンピュータに実行させる、態様１２に記載のプログラム。
〔態様１４〕
前記１つまたは複数の第３のピクセルの位置情報および前記複合データを備えるテンソルを生成することを更に前記コンピュータに実行させる、態様１１から１３のいずれか一態様に記載のプログラム。
〔態様１５〕
前記１つまたは複数の第１のピクセルの前記複数の第１のフィルタタイプのデータと、１つまたは複数の対応する第２のピクセルの前記複数の第２のフィルタタイプのデータとを組み合わせることを更に前記コンピュータに実行させ、前記複数の第１のフィルタタイプおよび前記複数の第２のフィルタタイプの前記データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第１の画像データおよび前記第２の画像データの１つもしくは複数から計算されたデータを備える、態様１１から１４のいずれか一態様に記載のプログラム。
〔態様１６〕
コンピューティングシステムであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサのうち１つまたは複数に結合された１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記１つまたは複数のプロセッサのうち１つまたは複数によって実行されると、前記コンピューティングシステムに動作を実施させるように動作可能な命令を有する、１つまたは複数のコンピュータ可読非一時的記憶媒体と、を備え、前記動作が、
第１のフィルタパターンを有する第１のフィルタアレイを有するイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが複数の第１のフィルタタイプを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイをそれぞれ有する１つまたは複数の追加のイメージセンサによって生成された１つまたは複数の第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび前記複数の第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記１つまたは複数の第２の画像データの部分に基づいて、前記第１の画像データの１つもしくは複数の第１のピクセルと前記１つまたは複数の第２の画像データの１つもしくは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記１つまたは複数の第２の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第１のフィルタタイプの１つまたは複数と関連付けられた第１のデータおよび前記複数の第２のフィルタタイプの１つまたは複数と関連付けられた第２のデータをそれぞれ含む、１つまたは複数の第３のピクセルを有する、段階と
を備える、コンピューティングシステム。
〔態様１７〕
前記命令が、前記共通のフィルタタイプのデータに基づいて、前記第１の画像データの１つもしくは複数のピクセルおよび前記１つまたは複数の第２の画像データの１つもしくは複数のピクセルの深度情報を計算するように更に動作可能である、態様１６に記載のコンピューティングシステム。
〔態様１８〕
前記命令が、前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記１つまたは複数の第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記１つまたは複数の第２の画像データの対応するピクセルとの間の空間オフセットを決定するように更に動作可能である、態様１７に記載のコンピューティングシステム。
〔態様１９〕
前記命令が、前記１つまたは複数の第３のピクセルの位置情報および前記複合データを備えるテンソルを生成するように更に動作可能である、態様１６から１８のいずれか一態様に記載のコンピューティングシステム。
〔態様２０〕
前記命令が、前記１つまたは複数の第１のピクセルの前記複数の第１のフィルタタイプのデータと、１つまたは複数の対応する第２のピクセルの前記複数の第２のフィルタタイプのデータとを組み合わせるように更に動作可能であり、前記複数の第１のフィルタタイプおよび前記複数の第２のフィルタタイプの前記データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第１の画像データおよび前記１つまたは複数の第２の画像データの１つもしくは複数から計算されたデータを備える、請求項１６から１９のいずれか一態様に記載のコンピューティングシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】