特許 7372322 色覚困難の知覚を改善する多重スペクトル多重偏光（ＭＳＭＰ）フィルタ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】色覚困難の知覚を改善する多重スペクトル多重偏光（ＭＳＭＰ）フィルタ処理

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231024BHJP

   H04N 23/55 20230101ALI20231024BHJP

   H04N 23/60 20230101ALI20231024BHJP

【ＦＩ】

G06T7/00 350B

H04N23/55

H04N23/60 500

【請求項の数】 20

(21)【出願番号】P 2021523507

(86)(22)【出願日】2019-12-05

(65)【公表番号】

(43)【公表日】2022-02-03

(86)【国際出願番号】 US2019064746

(87)【国際公開番号】W WO2020123258

(87)【国際公開日】2020-06-18

【審査請求日】2022-11-17

(31)【優先権主張番号】16/221,414

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521411231

【氏名又は名称】ウーブン バイ トヨタ，ユーエス，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】ブリッグス、フォレスト、ザムエル

(72)【発明者】

【氏名】クレメント、ロマイン

(72)【発明者】

【氏名】ゾウ、イ

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１５－０５０４９４（ＪＰ，Ａ）

【文献】特開２０１７－０４６０５１（ＪＰ，Ａ）

【文献】特開２０１１－１７６７１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

コンピューティングシステムによって、
第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが、関心スペクトルに対応する第１のフィルタタイプと、第２のフィルタタイプとを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび複数の前記第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが前記関心スペクトルに対応する前記第１のフィルタタイプのデータを有する、段階と、
前記複合データに基づいて、前記関心スペクトルを有する１つまたは複数の対象物を検出する段階と
を備える、方法。

【請求項2】

前記第１の画像データまたは前記第２の画像データからの複数の偏光フィルタのデータに基づいて、前記第１の画像データおよび前記第２の画像データの深度情報を計算する段階を更に備える、請求項１に記載の方法。

【請求項3】

前記深度情報を計算する段階が、前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定する段階を備える、請求項２に記載の方法。

【請求項4】

前記１つまたは複数の対象物を検出する段階が、前記関心スペクトルに対応する前記第１のフィルタタイプのデータを、前記関心スペクトルを有する対象物の格納されたデータと比較する段階を備える、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第１のフィルタパターンおよび前記第２のフィルタパターンにおける前記第２のフィルタタイプの相対位置が同じである、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記関心スペクトルに対応する前記第１のフィルタタイプが前記第２のフィルタパターンには存在しない、請求項１から５のいずれか一項に記載の方法。

【請求項7】

第３の画像データにアクセスする段階であって、前記複合データを生成する段階が、１つまたは複数の追加のイメージセンサによって生成された１つもしくは複数の画像データを使用する段階を更に有し、前記１つまたは複数の追加のイメージセンサの少なくとも１つが、前記第１のフィルタパターンまたは前記第２のフィルタパターンとは異なる第３のフィルタパターンを有する第３のフィルタアレイを有する、段階を更に備える、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記検出する段階が、機械学習アルゴリズムによって、前記複合データを１つまたは複数の関心対象物の格納された複合データと比較する段階を備える、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記複合データと関連付けられた空間情報および前記複合データを有するテンソルを生成する段階を更に備える、請求項１から８のいずれか一項に記載の方法。

【請求項10】

第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが、関心スペクトルに対応する第１のフィルタタイプと、第２のフィルタタイプとを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび複数の前記第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが前記関心スペクトルに対応する前記第１のフィルタタイプのデータを有する、段階と、
前記複合データに基づいて、前記関心スペクトルを有する１つまたは複数の対象物を検出する段階と
をコンピュータに実行させるプログラム。

【請求項11】

前記第１の画像データまたは前記第２の画像データからの複数の偏光フィルタのデータに基づいて、前記第１の画像データおよび前記第２の画像データの深度情報を計算することを更にコンピュータに実行させる、請求項１０に記載のプログラム。

【請求項12】

前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定することを更にコンピュータに実行させる、請求項１１に記載のプログラム。

【請求項13】

前記関心スペクトルに対応する前記第１のフィルタタイプのデータを、前記関心スペクトルを有する対象物の格納されたデータと比較することを更にコンピュータに実行させる、請求項１０から１２のいずれか一項に記載のプログラム。

【請求項14】

前記第１のフィルタパターンおよび前記第２のフィルタパターンにおける前記第２のフィルタタイプの相対位置が同じである、請求項１０から１３のいずれか一項に記載のプログラム。

【請求項15】

前記関心スペクトルに対応する前記第１のフィルタタイプが前記第２のフィルタパターンには存在しない、請求項１０から１４のいずれか一項に記載のプログラム。

【請求項16】

コンピューティングシステムであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサのうち１つまたは複数に結合された１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記１つまたは複数のプロセッサのうち１つまたは複数によって実行されると、前記コンピューティングシステムに動作を実施させるように動作可能な命令を有する、１つまたは複数のコンピュータ可読非一時的記憶媒体と、を備え、前記動作が、
第１のフィルタパターンを有する第１のフィルタアレイを有するイメージセンサによって生成された第１の画像データにアクセスする段階であって、前記第１のフィルタパターンが、関心スペクトルに対応する第１のフィルタタイプと、第２のフィルタタイプとを有する、段階と、
前記第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイをそれぞれ有する１つまたは複数の追加のイメージセンサによって生成された第２の画像データにアクセスする段階であって、前記第２のフィルタパターンが複数の第２のフィルタタイプを有し、前記複数の第２のフィルタタイプおよび複数の前記第１のフィルタタイプが少なくとも１つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第１の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの部分に基づいて、前記第１の画像データの１つまたは複数の第１のピクセルと前記１つまたは複数の追加のイメージセンサによって生成された前記第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する段階と、
前記１つまたは複数の追加のイメージセンサによって、前記対応に基づいて、前記第１の画像データおよび前記第２の画像データを使用して複合データを生成する段階であって、前記複合データが前記関心スペクトルに対応する前記第１のフィルタタイプのデータを有する、段階と、
前記複合データに基づいて、前記関心スペクトルを有する１つまたは複数の対象物を検出する段階と
を備えるシステム。

【請求項17】

前記１つまたは複数のプロセッサが、前記第１の画像データまたは前記第２の画像データからの複数の偏光フィルタのデータに基づいて、前記１つまたは複数の追加のイメージセンサによって生成された前記第１の画像データおよび前記第２の画像データの深度情報を計算するように更に動作可能である、請求項１６に記載のシステム。

【請求項18】

前記１つまたは複数のプロセッサが、前記共通のフィルタタイプと関連付けられた前記第１の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第２の画像データの前記部分に基づいて、前記１つまたは複数の追加のイメージセンサによって生成された前記第１の画像データのピクセルと前記第２の画像データの対応するピクセルとの間の空間オフセットを決定するように更に動作可能である、請求項１７に記載のシステム。

【請求項19】

前記１つまたは複数のプロセッサが、前記関心スペクトルに対応する前記第１のフィルタタイプのデータを、前記関心スペクトルを有する対象物の格納されたデータと比較するように更に動作可能である、請求項１６から１８のいずれか一項に記載のシステム。

【請求項20】

前記第１のフィルタパターンおよび前記第２のフィルタパターンにおける前記第２のフィルタタイプの相対位置が同じである、請求項１６から１９のいずれか一項に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

光学カメラは、静止画像または映像を取得するように構成されたイメージセンサを含むことがある。一例として、限定ではないが、光学カメラは、電荷結合素子（ＣＣＤ）イメージセンサまたは相補型金属酸化膜半導体（ＣＭＯＳ）アクティブピクセルイメージセンサを含むことがある。特定の実施形態では、ＣＭＯＳイメージセンサはフィルタアレイを含むことがある。一般的なフィルタアレイは、光の特定の特徴（例えば、波長または偏光）の情報を取得するように調整されたフィルタのモザイクを有する。

【0002】

多重スペクトルイメージングは、多くの実際の適用例を改善するのに使用されることがある。例示の適用例は、自律車両のナビゲーション、ロボット用途、または空中作業台からの森林検査を含んでもよい。一例として、限定ではないが、成功するナビゲーション（例えば、支援式または自律）は、路上にある障害物の適時の検出および認識に依存しているが、フィルタアレイのスペクトル外にあるスペクトルの波長を検出することは、困難であって計算集約的なことがある。

【図面の簡単な説明】

【0003】

【図1】一例のフィルタアレイを有するイメージセンサを示す断面図である。

【0004】

【図2】一例のフィルタアレイのスペクトル応答を示す図である。

【0005】

【図3】一例のフィルタタイプの組み合わせを有するフィルタアレイを含むカメラの概略を示す図である。

【0006】

【図4】自動車用カメラシステムの一例の概略を示す図である。

【0007】

【図5】一例の深度計算を示す図である。

【0008】

【図6】関心対象物を検出する一例の方法を示す図である。

【0009】

【図7】輸送管理環境の一例のブロック図である。

【0010】

【図8】コンピューティングシステムの一例を示す図である。

【発明を実施するための形態】

【0011】

以下の記載で、様々な実施形態について記載する。説明目的で、実施形態の徹底的な理解を提供するために、具体的な構成および詳細について説明する。しかしながら、実施形態はかかる具体的な詳細なしで実施されてもよいことも、当業者には明白となるであろう。更に、記載する実施形態が曖昧にならないようにするため、良く知られている特徴は省略または単純化されることがある。それに加えて、本明細書に開示する実施形態は単なる例であり、本開示の範囲はそれらに限定されない。特定の実施形態は、上記に開示した実施形態の構成要素、要素、特徴、機能、動作、または段階の全てもしくは一部を含むか、あるいはいずれも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とした添付の特許請求の範囲に開示され、１つのクレーム分類、例えば方法において言及される任意の特徴が、別のクレームカテゴリ、例えばシステムにおいても請求される場合がある。添付の特許請求の範囲における従属または後方参照は、形式上の理由でのみ選択される。しかしながら、任意の先行クレームに対する意図的な後方参照（特に、多項従属）の結果による任意の主題も同様に請求することができ、それによってクレームおよびその特徴の任意の組み合わせが開示され、添付の特許請求の範囲において選択される従属にかかわらずそれらを請求することができる。請求することができる主題は、添付の特許請求の範囲に提示されるような特徴の組み合わせだけではなく、特許請求の範囲における特徴の他の任意の組み合わせも備え、特許請求の範囲で言及される各特徴を、特許請求の範囲における他の任意の特徴または他の特徴の組み合わせと組み合わせることができる。更に、本明細書に記載もしくは描写する実施形態および特徴のいずれも、別個のクレームで、ならびに／あるいは本明細書に記載もしくは描写する任意の実施形態または特徴との、あるいは添付の特許請求の範囲の特徴のうち任意のものとの任意の組み合わせで、請求することができる。

【0012】

光学カメラは、相補型金属酸化膜半導体（ＣＭＯＳ）アクティブピクセルイメージセンサと、フィルタアレイとを含んでもよい。フィルタアレイは、更に詳細に後述するが、入射光の特定の性質に応答する特徴を有するフィルタのモザイクである。一例として、限定ではないが、フィルタアレイは、入射光の特定の波長に応答する特徴の組み合わせを有してもよい。別の例として、フィルタアレイは、特定の偏光（例えば、０°、４５°、９０°、１３５°、または任意の好適な偏光）を有する入射光の成分に応答する、フィルタの組み合わせを有してもよい。異なる偏光を使用して取得されるデータは、油がある、濡れた、または凍った路面に共通である、鏡面反射を検出するのに使用されてもよい。これは、例えば、路面摩擦係数を画像から推定するのに使用されてもよい。更に、偏光は、空に対応するピクセルを他のピクセルから区別する助けとして使用されてもよい。深度推定に関する一般的な不良モードは、空が光学カメラから遠く離れていないと予測することによって、空に対する深度予測が不適正になるものである。

【0013】

一例として、限定ではないが、光学カメラから取得した生データは、個々のフォトサイトの未修正スペクトル情報を格納してもよいが、多くの用途では、画像信号プロセッサ（ＩＳＰ）を使用して、各フォトサイトに対するフィルタアレイの特徴一式に対応するデータを推論して、フル解像度の画像が生成されてもよい。一例として、限定ではないが、赤フィルタを有するフォトサイトは、主に赤色に対応するスペクトルの波長範囲に対応する入射光の部分に応答するが、ＩＳＰは、隣接するフォトサイトからのデータに基づいて、緑色および青色に対応するスペクトルの波長範囲に対応する信号を推定してもよい。別の例として、０°偏光を有するフォトサイトは、主に０°偏光に対応する入射光の部分に応答するが、ＩＳＰは、隣接するフォトサイトからのデータに基づいて、９０°偏光データに対応する信号を推定してもよい。フィルタの特徴外にある特徴の検出における困難は、これら他の特徴を有する障害物を認識する際のレイテンシにつながることがあり、それがひいては、これらの障害物を回避するための介入の数が増加することにつながることがある。一例として、限定ではないが、オレンジ色（例えば、「セーフティ」オレンジ）に対応するスペクトルは、多くのフィルタアレイで比較的低いスペクトル応答を有することがあり、それによって、更に詳細に後述するように、交通信号の注意信号を検出すること、または建設工事領域（例えば、オレンジの作業コーンもしくはオレンジの機器）を回避することが困難になることがある。

【0014】

本明細書では、特徴に対する言及は、例えばスペクトル、偏光、または温度など、光と関連付けられた品質を指す。更に、本明細書のフィルタタイプに対する言及は、光と関連付けられた特定の特徴を指す。一例として、限定ではないが、赤色もしくは緑色に対応するスペクトルに対する、または垂直もしくは４５°偏光フィルタの偏光に対するフィルタタイプである。複数のカメラのモザイクは、少なくとも１つの他のカメラのモザイクと共通の特徴を有するモザイクにおける、少なくとも１つの対応するフィルタを含んでもよい。一例として、限定ではないが、第１のフィルタアレイは、赤、緑、青、および可視スペクトルのフィルタの組み合わせを有してもよく、第２のフィルタアレイは、赤、オレンジ、緑、および可視スペクトルのフィルタの組み合わせを有してもよい。特定の実施形態では、共通または参照フィルタ素子は、それぞれのフィルタアレイを使用して取得された画像からピクセルの深度を推定するのに使用されてもよい。

【0015】

特定のフィルタの一次応答外にある入射光の特徴は、更に詳細に後述するように、センサの関連するフォトサイトにおける応答の低減を誘発する。複数のカメラからの１つまたは複数のフォトサイトにおける深度情報を決定することは、特に特徴なしの領域（例えば、空白の壁）を有するシーンに関して、コスト集約計算に基づいてカメラ間でのステレオマッチングを決定するのに使用されてもよい。換言すれば、１つのイメージセンサにおける特定のフォトサイトの深度、および別のイメージセンサにおける対応するフォトサイト位置が、同じシーンを取得している対応するフォトサイト間における空間オフセットの量を推定するのに使用されてもよい。

【0016】

本明細書に記載する実施形態は、多重スペクトルデータを提供し、従来は既存のイメージセンサを使用して識別するのが困難である、特定の波長を決定することによって、様々なプラットフォーム、システム、または方法、特に周囲環境の正確な特性付けおよび知覚が重要であるものに有益であってもよい。一例として、限定ではないが、本明細書に記載する実施形態を使用して生成される多重スペクトル画像は、車両（例えば、自律、半自律、または従来のマニュアル車両）が（例えば、コンピュータビジョン技術を使用して）その周囲環境を理解し、情報に基づいて適宜判断する能力を改善してもよい（例えば、改善されたナビゲーションおよび運転上の判断、危険回避、緊急応答、特定の色の交通標識に対する応答など）。同様に、有人または無人航空機（ＵＡＶ）の操縦者は、コンピュータ支援の基になる基礎的データの改善および強化により、改善されたコンピュータ支援を用いて飛行しナビゲートすることができてもよい。例えば、ＵＡＶは、対象物を検出して障害物（例えば、木、建物、および鳥）ならびに非障害物（例えば、雲）として分類する能力における信頼度が改善されて、ナビゲートすることができてもよい。別の例として、ロボットハンドリングシステムは、ロボットのビジョンシステムが、対象物の固有の色、多重スペクトル、および／または多重偏光シグネチャに基づいて、一括して様々な対象物を認識することができる場合、より効率的に働いてもよい。別の例として、自動収穫（例えば、果物）は、知覚しづらい色（例えば、オレンジ、紫、ピンクなど）を有する農産物を検出および認識できることによって、改善されてもよい。組立ラインにおける部品の欠陥の自動検出は、視覚画像だけを使用して検出するのは難しいことがある欠陥を、多重スペクトル多重偏光シグネチャが検出するのを利用して利益を得てもよい。

【0017】

特定の実施形態では、更に詳細に後述する車両のセンサアレイは、多様な特徴のモザイクを有するフィルタアレイを有する、複数のカメラを含んでもよい。本明細書では、特徴に対する言及は、例えばスペクトル、偏光、または温度など、光と関連付けられた品質を指す。更に、本明細書でのフィルタタイプに対する言及は、光と関連付けられた特定の特徴を指す。一例として、限定ではないが、スペクトルフィルタタイプは、赤色または緑色に対応するフィルタ、または偏光の場合は垂直もしくは４５°偏光フィルタを含んでもよい。複数のカメラのモザイクは、少なくとも１つの他のカメラのモザイクと共通の特徴を有するモザイクにおける、少なくとも１つの対応するフィルタを含んでもよい。特定の実施形態では、共通または参照フィルタ素子を使用して、それぞれのフィルタアレイを使用して取得された画像からのピクセルの深度が推定されてもよい。同じシーンを取得する異なるイメージセンサにおけるフォトサイト間の対応を決定することによって、多様なフィルタアレイを使用して取得されたデータを含む多重スペクトル多重偏光画像が、対象物検出のために生成されてもよい。更に詳細に後述するように、特定の色（例えば、オレンジ）に対応するフィルタを有するフィルタアレイを、異なるスペクトルの組み合わせを有するフィルタアレイと併用して、異なるスペクトルの組み合わせのチャネルと特定のスペクトルのチャネルとを組み合わせた多重スペクトル画像が生成されてもよい。

【0018】

図１は、一例のフィルタアレイを有するイメージセンサの断面を示している。一例として、限定ではないが、光学カメラは、静止画像または映像を取得するように構成されたイメージセンサ１０２を使用する。光学カメラは、ＣＣＤまたはＣＭＯＳアクティブピクセルイメージセンサを含んでもよい。光学カメラは、道路、車線区分線、道路標識、交通信号、車両、人、動物、または外部環境に存在する他の目に見える関心対象物を認識するのに使用されてもよい。イメージセンサ１０２は、入射光の量に比例する信号をそれぞれ生成するフォトサイト（例えば、フォトダイオード、伝達ゲート、浮遊拡散、または任意の好適な感光素子）のアレイを含む。図１の例に示されるように、イメージセンサ１０２は、イメージセンサ１０２の上面の上に位置するフィルタアレイ１０４を含んでもよい。特定の実施形態では、フィルタアレイ１０４はマイクロレンズアレイ（図示なし）の下方にあってもよい。図１の例に示されるように、２×２のフィルタアレイ１０４は、特定のフィルタタイプ（例えば、特定の波長範囲もしくは偏光タイプ）をそれぞれ有する、特徴のパターンまたはモザイク（例えば、特定の波長範囲の光を通過させるスペクトルフィルタ、もしくは特定の偏光の光を通過させる偏光子）を形成する、領域１０６Ａ～Ｄを含んでもよい。チャネルは、その特定の波長における光の強度のデータ、面法線および深度を計算するための異なる偏光のデータ、またはピクセルの速度を計算するためのデータを提供してもよい。更に、各領域１０６Ａ～Ｄは、例えば、特定の波長フィルタおよび特定の偏光フィルタなど、複数のフィルタタイプを含んでもよい。各領域１０６Ａ～Ｄは、イメージセンサ１０２の特定のフォトサイトに対応してもよい。図１の例に示されるように、領域１０６Ａは、更に詳細に後述するように、多様なフィルタタイプを有するフィルタのパターンを形成する、領域１０６Ａ～Ｄの２×２のサブセットを含んでもよい。本開示は、特定の寸法のパターンを有するフィルタを記載し例証しているが、本開示は、例えば４×４、１３２×１３２、または１０８０×１０８０など、任意の好適な寸法を有するパターンを考慮する。

【0019】

図２は、一例のフィルタアレイのスペクトル応答を示している。特定の実施形態では、フィルタアレイは、図２の例に示されるように、特定の波長範囲（スペクトルまたは色）の光に応答する、フィルタのモザイクを含んでもよい。一例として、限定ではないが、曲線２０２、２０４、および２０６はそれぞれ、赤色、緑色、および青色に対応するフィルタを有するフォトサイトのスペクトル応答に対応してもよい。波長２０８は、フィルタアレイの特徴に対する応答が大幅に低減されているであろう、波長範囲（例えば、オレンジ）に対応してもよい。

【0020】

上述したように、フィルタアレイのフィルタは、特定の波長帯（例えば、曲線２０２に対応）の色を識別するのに使用されてもよい。一例として、限定ではないが、赤フィルタを有するフォトサイトは主に、曲線２０２によって示されるような、赤色の波長範囲に対応する入射光の部分に応答する。赤フィルタを有するフォトサイトから強力な信号を受信したことに基づいて、顕著な赤成分を有する対象物（例えば、赤の交通信号もしくは車）が識別されてもよい。同様に、緑フィルタを有するフォトサイトから強力な信号を受信したことに基づいて、顕著な緑成分を有する対象物が識別されてもよい。フィルタアレイの特定の色フィルタの組み合わせ次第では、フィルタの応答曲線内にない波長に対応する対象物（例えば、「セーフティオレンジ」色の建設コーン）は、色フィルタの応答（例えば、２０２～２０６）に対する波長（例えば、線２０８）の位置によって識別しづらいことがある。

【0021】

図３は、一例のフィルタタイプの組み合わせを有するフィルタアレイを有するカメラの概略図を示している。シーンは、視野（ＦＯＶ）または視錐台が重なり合う複数の光学カメラ（例えば、カメラ１およびカメラ２）を使用して、三次元（３Ｄ）で再構築されてもよい。ステレオ再構築は、視錐台が重なり合ったカメラから導き出される情報に基づいて得られる、深度および３Ｄ構造の知覚である。光学カメラは異なる横方向位置に位置するので、両眼視差により、２つの異なる視線に沿って見た対象物の見かけの位置には知覚される変位または差がある。変位は、脳の視覚皮質で処理されて深度知覚をもたらす。短縮遠近法により、異なる位置から観察したとき、近くの対象物は遠くの対象物よりも大きい両眼視差を示すので、両眼視差は距離を決定するのに使用することができる。

【0022】

一例として、限定ではないが、カメラシステム３００は、少なくとも部分的に重なり合う視錐台を有する複数の（例えば、２つを超える）光学カメラを含んでもよい。別の例として、車両の光学カメラは、３Ｄ視覚データを取得するため、所定数（例えば、６つ）の対として組織化されてもよい。特定の実施形態では、外部環境の３Ｄ再構築は、複数の（例えば、２つを超える）光学カメラの多重スペクトル多重偏光データからの画像データを使用して実施されてもよい。図３の例に示されるように、カメラシステム３００は、ＦＯＶまたは視錐台の少なくとも部分的な重なりを有する複数のカメラ、カメラ１およびカメラ２を含んでもよい。一例として、限定ではないが、３Ｄ再構築は、各カメラ（カメラ１およびカメラ２）の複数チャネルデータストリームからの画像を使用して実施されてもよく、チャネルの数は、フィルタアレイ１０４Ａおよび１０４Ｂのフィルタタイプの数に対応してもよい。図３の例に示されるように、ステレオカメラシステム３００は更に、多様なフィルタタイプの組み合わせを有するフィルタアレイ１０４Ａおよび１０４Ｂを使用して得られるチャネルを使用して、３Ｄ多重スペクトル多重偏光画像を再構築するためのデータを生成するように構成された、更に詳細に後述する、画像信号プロセッサ（ＩＳＰ）３０４を含んでもよい。

【0023】

各光学カメラ（例えば、カメラ１）は、イメージセンサと、入ってくる光をイメージセンサの焦点領域上に集光し合焦させる、レンズまたはレンズアセンブリとを含んでもよい。一例として、限定ではないが、光学カメラ（カメラ１およびカメラ２）は、光をイメージセンサ上に合焦させるのに、魚眼レンズ、超広角レンズ、広角レンズ、または標準レンズを含んでもよい。本開示は、特定のイメージセンサおよびフィルタアレイを有する特定の光学カメラを記載し例証しているが、本開示は、任意の好適な特徴を有する任意の好適なイメージセンサおよびフィルタアレイを有する、任意の好適な光学カメラを考慮する。

【0024】

更に詳細に上述したように、カメラ１のイメージセンサは、フィルタタイプの特定の組み合わせを有するフィルタアレイ１０４Ａを含んでもよい。特定の実施形態では、フィルタアレイ１０４Ａは、フィルタアレイ１０４Ｂのフィルタタイプの組み合わせとは異なる、フィルタタイプの組み合わせを有してもよい。一例として、限定ではないが、フィルタアレイ１０４Ａは、図３の例に示されるように、フィルタアレイ１０４Ｂの色の組み合わせとは異なる色の組み合わせを有してもよい。特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、波長１、波長２、波長３、または波長４に対するフィルタを含んでもよいフィルタタイプの組み合わせを含む、Ｎ×Ｎ（Ｎは２以上）の領域のサブセットのパターンを含んでもよい。

【0025】

特定の実施形態では、カメラ１のフィルタアレイは、建設コーン／標識のオレンジ、車線分割線または警告標識（例えば、歩行者用もしくはスクールゾーン標識など）の黄色、特定の青系の色（例えば、駐車もしくは障害者用標識など）、特定の赤系の色（例えば、停止標識もしくは交通信号など）など、任意の関心対象物の既知の色である関心色に対応する波長を含んでもよい。一例として、限定ではないが、カメラ１のフィルタアレイの関心色は、オレンジ色（または他の任意の関心色）に対応する波長範囲であってもよい。特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、フィルタアレイ１０４Ａおよび１０４Ｂの間で異なるモザイク内の空間位置を有する、参照フィルタタイプを含んでもよい。この場合、ＭＬアルゴリズムは既知の位置オフセットを相殺してもよい。特定の実施形態では、フィルタアレイ１０４Ａおよび１０４Ｂは、図３の例に示されるように、両方のフィルタアレイ１０４Ａおよび１０４Ｂに共通であるモザイク内の空間位置を有する、参照フィルタタイプを含んでもよい。一例として、限定ではないが、２×２のパターンまたはモザイクの場合、１０４Ａおよび１０４Ｂのモザイクの左下は、「透明」または可視スペクトルのフィルタを参照フィルタタイプとして含んでもよい。更に詳細に後述するように、可視スペクトルフィルタに対応するフォトサイトからのデータは、重なり合う視錐台を有する２つ以上のカメラ（例えば、カメラ１およびカメラ２）におけるピクセル間の対応を確立し、フィルタアレイ１０４Ａおよび１０４Ｂのフィルタタイプの複合データを含む、多重スペクトル多重偏光画像を生成するのに使用されてもよい。本開示は、特定の参照または共通フィルタタイプを有するフィルタアレイを記載し例証しているが、本開示は、例えば、特定のスペクトル（色）もしくは偏光など、任意の好適な参照または共通フィルタタイプを考慮する。

【0026】

図４は、カメラシステムの一例の概略図を示している。図４の例に示されるように、各光学カメラ（例えば、カメラ１およびカメラ２）は、それぞれの同軸ケーブルを介した電源供給（ＰｏＣ）のシリアルリンク４０４を通して、カメラインターフェース基板（ＣＩＢ）４０２に接続されてもよい。特定の実施形態では、ＣＩＢ ４０２は、車両内または車両外（例えば、屋根）でセンサアレイ内に搭載されてもよい。更に、ＣＩＢ ４０２は、そのシリアルリンク（例えば、４０４）に接続された、それぞれの光学カメラ（例えば、カメラ１）に送信される電力、ならびにタイミングおよび制御（例えば、Ｉ^２Ｃ）データと、それぞれの光学カメラ（例えば、カメラ１）から受信される画像／映像データ（例えば、ＭＩＰＩ）とを多重化してもよい。ＣＩＢ ４０２に結合されたタイミングシステム４０６は、それぞれのシリアルリンク４０４を通して、同期（シンク）パルスをカメラ１およびカメラ２に提供する。更に、タイミングシステム４０６は、メインコンピュータ４０８に結合され、重なり合う視錐台を有する光学カメラによって取得されるデータのタイムスタンプ情報を提供する。特定の実施形態では、外界とのインターフェースのメインコンピュータ４０８が、車両の機能全体を制御する。本開示は、構成要素の特定の構成を有する特定のカメラシステムを記載し例証しているが、本開示は、構成要素の任意の好適な構成を有する任意の好適なカメラシステムを考慮する。

【0027】

特定の実施形態では、ＣＩＢ ４０２は、イメージセンサからのデータを処理して、フィルタタイプの多様な組み合わせからのデータを組み合わせる複合データを生成するように構成された、更に詳細に上述したＩＳＰを含んでもよい。特定の実施形態では、関心の特徴またはフィルタタイプをフィルタアレイのモザイクに含めることによって、ＩＳＰを使用せずに対象物を検出することを可能にしてもよい。特定の実施形態では、機械学習（ＭＬ）アルゴリズムは、関心色を有する対象物を検出し、これらの対象物を含有する画像の部分のみを処理することができてもよい。一例として、限定ではないが、アルゴリズムは、オレンジの交通コーンを含む画像の部分のみを処理することができてもよい。特定の実施形態では、関心色を有する対象物は、ＩＳＰを使用することなく、フォトサイトからのデータを使用して、これらのフォトサイトからのデータ（例えば、強度に比例する信号）の値が所定の閾値よりも大きいことに基づいて検出されてもよい。一例として、限定ではないが、ＭＬアルゴリズムは、三角形に関するデータの値が所定の閾値を上回ることに基づいて、これらの形状の数を識別することによって、路上の交通コーンを検出することができてもよい。更に、ＭＬアルゴリズムは、検出された対象物を取り囲む領域に対応する全スペクトルデータを処理して、車両が作業区域を通るのをナビゲートしてもよい。

【0028】

ＩＳＰは、各フォトサイトに存在しない特徴またはフィルタタイプに対応するデータを外挿するように構成されてもよい。例えば、ＩＳＰは、隣接するフォトサイトからのデータに基づいて、赤フィルタを有するフォトサイトに対して、青および緑成分に対応するデータを内挿してもよい。更に、複数のカメラによって取得される各画像のピクセルに対して、ＩＳＰは、更に詳細に後述するように、各々の画像で利用可能なチャネルの全てに対応するデータを組み合わせて、一連の複合データまたは特徴マップにするように構成されてもよい。特定の実施形態では、複数のカメラ（例えば、カメラ１およびカメラ２）によって取得される各画像のピクセルに対して、ＩＳＰは、各々の画像で利用可能なチャネルの全てを外挿し、ならびに直接測定できない特性に対する値を導き出すように構成されてもよい。一例として、限定ではないが、ＩＳＰは、異なる偏光特徴を含むフィルタアレイからのデータに基づいて、各ピクセルの面法線を推定するように構成されてもよい。更に、ＩＳＰは、ピクセルの深度、ピクセルと関連付けられた速度を推定するか、またはオクルージョンマスクを推定してもよい。特定のシーンに対するオクルージョンマスクは、シーンにおける特定のピクセルが、シーンの少なくとも一部を取得する他の光学カメラの画像において可視であるか否かの情報を提供する。

【0029】

図５は、一例のコスト計算を示している。特定の実施形態では、メインコンピュータまたは他のコンピューティングシステムは、多様なフィルタアレイからの複合データに基づいて、直接測定できない特性に対する値を導き出してもよい。一例として、限定ではないが、コンピューティングシステムは、異なる偏光フィルタタイプを有するフィルタアレイからのデータに基づいて、各ピクセルの面法線を推定するように構成されてもよい。更に、コンピューティングシステムは、ピクセルの深度、ピクセルと関連付けられた速度を推定するか、またはオクルージョンマスクを推定してもよい。特定のシーンに対するオクルージョンマスクは、シーンにおける特定のピクセルが、シーンの少なくとも一部を取得する他の光学カメラの画像において可視であるか否かの情報を提供する。

【0030】

深度マップは、視野（ＦＯＶ）内の対象物の表面に対応する、各ピクセルの距離に関連する情報を含有する、画像または画像チャネルである。特定の実施形態では、深度情報は、画像に対するコストボリュームを計算することによって決定されてもよい。コストボリュームは、各々のピクセルにおけるコストの値を有する、３Ｄ（例えば、ｘ、ｙ、および視差ΔＸ）ルックアップテーブルである。コストボリュームは、ｘ、ｙ、および視差（ΔＸ）の関数である、単一の画像に対するコストの計算である。コスト（ｘ、ｙ、ΔＸ）はまた、第１の画像のｘ、ｙにおけるピクセルが他のいくつかの画像のピクセルとどの程度良好に一致するかの指標であってもよい（他の画像で比較するピクセルまたはピクセルのパッチの位置は、視差の関数である）。コストは、ピクセルのデータ（例えば、強度）に基づいて計算されてもよい。特定の実施形態では、視差の各値に対するコストは、ピクセルデータの絶対差の合計として計算されてもよい。特定の実施形態では、可視スペクトルピクセルからのデータは、フィルタアレイのフィルタ処理によって影響を受けないので、コストボリュームは、これらのピクセルに対応するイメージセンサのフォトサイトによって取得されるデータに基づいて計算されてもよい。特定の実施形態では、各ピクセルに対する特定の視差値を選択する、コスト集約が実施される。図５の例に示されるように、コスト５０２は視差ΔＸの関数として計算されてもよい。特定の実施形態では、視差ΔＸの「適正」値は、最低コスト５０４のΔＸ値であってもよい。いくつかの例では、ほぼ同じコスト５０２を有する視差ΔＸのいくつかの値がある。特定の実施形態では、視差ΔＸの最良値は、コストボリュームがピクセル類似度に対するコストを最小限に抑えるように、各々のピクセルにおける視差ΔＸの値を求めるより大きいシステムに、コストボリュームを組み込むことによって決定されてもよく、特定の実施形態では、解の全体的な滑らかさを測定する他のコスト項を含んでもよい。換言すれば、滑らかな３Ｄ表面の場合、隣接するピクセルの視差ΔＸが類似していることが予期される。

【0031】

ΔＸの値を決定することで、シーンを取得し、外部環境の多視点ステレオ再構築に使用される、画像中のピクセル間の空間的対応の情報が提供される。特定の実施形態では、深度情報は、対応する画像におけるピクセル間の空間的相関を決定するのに使用されてもよく、異なるフィルタアレイまたはカメラ（例えば、２つ以上）によって取得される特徴に対する値は、フル解像度の多重スペクトル多重偏光画像の各ピクセルに割り当てられてもよい。換言すれば、第１のイメージセンサで特定のフォトサイトによって取得される赤の値、および第２のイメージセンサで特定の偏光を有する対応するフォトサイトによって取得される強度値が、多重スペクトル多重偏光画像のピクセルに割り当てられてもよい。一例として、限定ではないが、ハーフ解像度画像は、フィルタアレイのＮ×Ｎのモザイクからのデータを組み合わせて単一のピクセルにすることによって生成されてもよく、その場合、単一のピクセルは、Ｎ×Ｎのモザイクの特徴全てからのデータを含む。一例として、限定ではないが、第１のカメラのフィルタアレイの特徴は、可視スペクトル、赤、青、およびオレンジの、Ｎ×Ｎのスペクトルの組み合わせを含んでもよい。第２のカメラは、可視スペクトル、赤、青、および緑に対応する特徴のＮ×Ｎのモザイクを含むフィルタアレイを有してもよい。深度が両方の画像で推定されると、可視スペクトル、赤、青、緑、およびオレンジのフィルタタイプに対して取得されたデータを有する、ピクセルを含むハーフ解像度画像が生成されてもよい。

【0032】

特定の実施形態では、シーンの第１の画像におけるピクセルの深度が推定された後、ＩＳＰまたはＭＬアルゴリズムは、対応するピクセルが第２の画像に現れる位置を決定することができ、または第２のカメラがオクルージョンマスクに基づいてピクセルを取得できないと決定することができる。換言すれば、深度の推定は、対応するピクセルからのデータの内挿、またはデモザイクを支援する。本開示は、特定の特徴の組み合わせを有するフィルタアレイを記載し例証しているが、本開示は、例えば色、偏光、または熱など、特徴の任意の好適な組み合わせを有する任意の好適なフィルタアレイを考慮する。これらの特徴は、シーンの深度マップを計算する情報を提供してもよく、マップは次に、データのデモザイク、または特定のピクセルによって直接測定されない特徴の内挿を実施するのに使用されてもよい。

【0033】

特定の実施形態では、異なる偏光を使用してフィルタ処理される入射光からのデータを同時に取得することで、より正確な３Ｄ再構築が可能になる。一例として、限定ではないが、異なる偏光を有するデータの解析によって、面法線推定が改善されることがあるが、純粋に物理学に基づくモデルには曖昧さが残り、それはＭＬアルゴリズムを使用して解決することができる。各偏光タイプ（例えば、垂直または４５°）からの画像データは異なる情報を提供し、それは次に、面法線を決定するのに使用されてもよい。特定の実施形態では、生の偏光データをＭＬアルゴリズムに直接適用して、面法線が抽出され、深度マッピングが改善されてもよい。異なる偏光を通して画像データを獲得することで、光学カメラの視錐台における特徴なしの対象物を検出する助けとなる、より正確な深度マッピングが可能になる。複数のカメラからのデータを３Ｄ再構築する場合、第１の光学カメラの視錐台における特定の位置と、他の光学カメラの視錐台における対応する位置との識別は、特に、特徴がない対象物上の位置を識別するのを支援する目立った特徴が不足している、特徴がない対象物（例えば、白い壁）の場合、困難なことがある。異なる偏光を有するフィルタを通して取得される画像データは、３Ｄ環境を再構築するための制約条件として使用する、面法線の推定値を得るのに使用されてもよい。

【0034】

特定の実施形態では、偏光フィルタは、１つまたは複数の光学カメラのフィルタアレイと統合されてもよい。一例として、限定ではないが、フィルタのＮ×Ｎの各サブセット内にある各フィルタは、異なる偏光を有してもよい。一例として、限定ではないが、第１のフィルタタイプは垂直偏光または９０°であってもよく、第２のフィルタタイプは水平偏光または０°であってもよく、第３のフィルタタイプは４５°偏光であってもよい。偏光されたフィルタを使用することで、異なる偏光を使用してフィルタ処理された入射光からデータを同時に獲得することが可能になってもよく、これは、シーン内の対象物が移動している場合に映像またはシーンを取得するのに有用である。対照的に、多重偏光データは、連続画像の間で回転させられる、調節可能な偏光フィルタを有する単一のカメラによって取得されてもよいが、この場合、映像を取得することは不可能である。各偏光タイプ（例えば、垂直、水平、または４５°）からの画像データは異なる情報を提供し、それは面法線を決定するのに使用されてもよい。特定の実施形態では、面法線は、異なる偏光フィルタタイプからのデータを使用して推定されてもよい。面法線は、深度の推定を改良して、更に詳細に上述した、深度マップを生成するのに使用されてもよく、または対象物検出のためのＭＬアルゴリズムへの入力として使用されてもよい。

【0035】

特定の実施形態では、更に詳細に後述する、ＩＳＰによって生成されるテンソルは、クラス分布を推定するＭＬアルゴリズムへの入力に含まれてもよい。特定の実施形態では、フィルタアレイの特徴を用いてＩＳＰによって生成されるテンソルは、ピクセルまたはピクセル群がシーンにおける対象物の特定のクラス（例えば、車もしくは木）に対応するという予測である、対象物分類に使用されてもよい。一例として、限定ではないが、ＩＳＰは、真／偽どちらかの値（例えば、０もしくは１）を含むインデックス、またはピクセル群が対象物の特定のクラスに対応する確率を有する、テンソルを生成してもよい。特定の実施形態では、複合データを有するテンソルはまた、シーン内の対象物のクラスだけではなく、それらのクラスの空間位置に関する追加情報も提供する、局所化／検出を実施するのに使用されてもよい。特定の実施形態では、複合データを有するテンソルはまた、各ピクセルにそれが包含する対象物または領域の特定のクラスをラベル付けすることができるように、各々のピクセルに対するラベルを推論する、セマンティックセグメンテーションに使用されてもよい。

【0036】

テンソルは、テンソルのインデックスの数に対応する、関連するランクを有する。例えば、ランク０のテンソルはスカラーであり、ランク１のテンソルはベクトルであり、ランク２のテンソルは２Ｄアレイである。特定の実施形態では、ＩＳＰは、空間座標（例えば、ｘおよびｙ座標）と、データの１つまたは複数のチャネルとを含むテンソルを生成してもよく、チャネルに対応する第３のインデックスＣは複数の値を有してもよい。一例として、限定ではないが、Ｃ＝０は赤に対応してもよく、Ｃ＝１は緑に対応してもよく、Ｃ＝２は青に対応してもよく、Ｃ＝３は深度に対応してもよく、またはＣ＝４は面法線のｘ成分に対応してもよい。特定の実施形態では、ＭＬアルゴリズムは、複合データを有するテンソルに対して畳み込みを実施し、追加の特徴または特徴マップを含む新しいテンソルを生成してもよい。畳み込みは、１つの形状またはランクを有するテンソルを入力として取ってもよく、一般的に、ランクは同じであるが形状または充填指数の数が異なるテンソルを出力する。一例として、限定ではないが、畳み込み後、テンソルは、赤、緑、青、他の関心色、熱、偏光、法線、深度、速度、または他の好適な特徴に対応するデータを含んでもよい。

【0037】

本明細書に記載する実施形態は、３Ｄ再構築および対象物検出に対する利益を提供する。特定の実施形態では、ＩＳＰによって生成される、多様なフィルタアレイの特徴の複合データを含むテンソルは、ＭＬアルゴリズムに直接適用されてもよい。一例として、限定ではないが、これらのフォトサイトからのデータは、ベイヤーカラーフィルタの原色（例えば、赤、緑、および青）以外の色に対応するデータを外挿するのに、ＩＳＰによる処理を要しないことがある。特定の実施形態では、ＭＬアルゴリズムは、特定の対象物のスペクトルシグネチャに一致する複合データに基づいて、対象物を検出してもよい。一例として、限定ではないが、シーン内の交通コーンは、交通コーンのスペクトルシグネチャに一致するテンソルの複合データに基づいて検出されてもよい。

【0038】

図６は、関心対象物を検出する一例の方法を示している。方法６００は、段階６１０で始まってもよく、コンピューティングシステムは、第１のフィルタパターンを有する第１のフィルタアレイを有する第１のイメージセンサによって生成された、第１の画像データにアクセスしてもよい。特定の実施形態では、第１のフィルタパターンは、関心色（例えば、オレンジ）に対応する第１のフィルタタイプと、第２のフィルタタイプとを含む。一例として、限定ではないが、第２のフィルタタイプは透明フィルタであってもよい。段階６２０で、コンピューティングシステムは、第１のフィルタパターンとは異なる第２のフィルタパターンを有する第２のフィルタアレイを有する第２のイメージセンサによって生成された、第２の画像データにアクセスしてもよい。特定の実施形態では、第２のフィルタパターンは第２のフィルタタイプを含む。更に、第２のフィルタパターンは、原色にそれぞれ対応する第３および第４のフィルタタイプを含んでもよい。

【0039】

段階６３０で、コンピューティングシステムは、第２のフィルタタイプと関連付けられた第１の画像データの部分、および第２のフィルタタイプと関連付けられた第２の画像データの部分に基づいて、第１の画像データの１つまたは複数の第１のピクセルと第２の画像データの１つまたは複数の第２のピクセルとの間の対応を決定する。特定の実施形態では、第１の画像データおよび第２の画像データの部分は、フィルタパターンの透明フィルタからのものである。段階６３５で、コンピューティングシステムは、第２のフィルタタイプのデータに基づいて、第１の画像データおよび第２の画像データの深度情報を計算する。段階６４５で、コンピューティングシステムは、第１の画像データと第２の画像データとの間の空間オフセットを決定する。特定の実施形態では、第１および第２の画像データの深度情報は、計算された空間オフセットを通して決定されてもよい。

【0040】

段階６５０で、コンピューティングシステムは、対応に基づいて、第１の画像データおよび第２の画像データを使用して複合データを生成する。特定の実施形態では、複合画像データは、第１のフィルタパターンのフィルタタイプおよび第２のフィルタパターンのフィルタタイプからのデータの組み合わせである。段階６６０で、コンピューティングシステムは、複合データに基づいて、関心色を有する１つまたは複数の対象物を検出する。特定の実施形態では、ＭＬアルゴリズムは、複合データに含まれるスペクトルシグネチャに基づいて、対象物を検出する。

【0041】

特定の実施形態は、適切な場合、図６の方法の１つまたは複数の段階を繰り返してもよい。本開示は、特定の順序で起こるものとして図６の方法の特定の段階を記載し例証しているが、本開示は、任意の好適な順序で起こる図６の方法の任意の好適な段階を考慮する。更に、本開示は、図６の方法の特定の段階を含む、関心対象物を検出する一例の方法を記載し例証しているが、本開示は、適切な場合、図６の方法の段階の全てもしくはいくつかを含んでもよい、またはいずれも含まなくてもよい任意の好適な段階を含む、関心対象物を検出する任意の好適な方法を考慮する。更に、本開示は、図６の方法の特定の段階を実施する特定の構成要素、デバイス、またはシステムを記載し例証しているが、本開示は、図６の方法の任意の好適な段階を実施する、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組み合わせを考慮する。

【0042】

本明細書に記載する実施形態は、様々な文脈で適用可能であり、輸送車両（自律、マニュアル、または半自律運転）で使用される撮像および知覚システム、ロボットシステム、ならびに／あるいは周囲環境の正確な特性付けおよび知覚を利用する任意の好適な用途など、画像から導き出される情報を利用する任意のシステムまたは方法に有益であり得る。一例として、限定ではないが、図７は、多重スペクトル多重偏光イメージングシステムを使用してもよい、輸送管理環境の一例のブロック図を示している。特定の実施形態では、環境は、ユーザ７０１（例えば、乗車提供側もしくは要求側）のユーザコンピューティングデバイス７３０、輸送管理システム７６０、自律車両７４０、および１つまたは複数の第三者システム７７０など、様々なコンピューティングエンティティを含んでもよい。コンピューティングエンティティは、任意の好適なネットワーク７１０を通じて通信接続されてもよい。一例として、限定ではないが、ネットワーク７１０の１つまたは複数の部分は、アドホックネットワーク、エクストラネット、仮想私設ネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆交換電話網（ＰＳＴＮ）の一部分、セルラーネットワーク、または上記の任意の組み合わせを含んでもよい。特定の実施形態では、コンピューティングエンティティが互いに通信できるようにする、任意の好適なネットワーク構成およびプロトコルが使用されてもよい。図７は、単一のユーザデバイス７３０、単一の輸送管理システム７６０、車両７４０、複数の第三者システム７７０、および単一のネットワーク７１０を示しているが、本開示は、任意の好適な数のこれらのエンティティそれぞれを考慮する。一例として、限定ではないが、ネットワーク環境は、複数のユーザ７０１、ユーザデバイス７３０、輸送管理システム７６０、自律車両７４０、第三者システム７７０、およびネットワーク７１０を含んでもよい。

【0043】

特定の実施形態では、輸送管理システム７６０は、１つまたは複数のサーバコンピュータを含んでもよい。各サーバは、単一のサーバ、または複数のコンピュータもしくは複数のデータセンタにまたがる分散型サーバであってもよい。サーバは、例えば、非限定的に、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書に記載する機能もしくはプロセスを実施するのに適した別のサーバ、またはそれらの任意の組み合わせなど、様々なタイプのものであってもよい。特定の実施形態では、各サーバは、ハードウェア、ソフトウェア、あるいはサーバによって実装または支援される適切な機能性を実施する、組込み論理構成要素または２つ以上のかかる構成要素の組み合わせを含んでもよい。特定の実施形態では、輸送管理システム７６０は、１つまたは複数のデータストアを含んでもよい。特定の実施形態では、データストアに格納された情報は、特定のデータ構造にしたがって組織化されてもよい。特定の実施形態では、各データストアは、関係、カラム型、相関、または他の任意の好適なタイプのデータベースシステムであってもよい。本開示は、特定のタイプのデータベースを記載または例証しているが、本開示は、任意の好適なタイプのデータベースを考慮する。

【0044】

特定の実施形態では、車両７４０は、自律車両であって、センサのアレイ７４４と、ナビゲーションシステム７４６と、乗車サービスコンピューティングデバイス７４８とを具備してもよい。特定の実施形態では、一団の自律車両７４０が輸送管理システム７６０によって管理されてもよい。一団の自律車両７４０は、全体または一部が、輸送管理システム７６０と関連付けられたエンティティによって所有されてもよく、または輸送管理システム７６０に関連する第三者エンティティによって所有されてもよい。いずれの場合も、輸送管理システム７６０は、例えば、乗車要求を満たすように選択車両７４０を派遣すること、車両７４０に指示して選択動作（例えば、サービスセンターもしくは充電／給油ステーションに向かう、停車する、直ちに停止する、自己診断する、車室をロック／ロック解除する、音楽ラジオ局を変更する、温度を変更する、および他の任意の好適な動作）を実施させること、車両７４０に指示して選択動作モード（例えば、通常の動作、低速で走行、人間のオペレータの命令で走行、および他の任意の好適な動作モード）を入力させることを含む、自律車両７４０の動作を制御してもよい。

【0045】

特定の実施形態では、車両７４０は、輸送管理システム７６０および第三者システム７７０からデータを受信し、またそれらにデータを送信してもよい。受信データの例としては、例えば、命令、新しいソフトウェアもしくはソフトウェア更新、マップ、３Ｄモデル、訓練済みもしくは訓練されていない機械学習モデル、位置情報（例えば、乗車要求側、自律車両７４０自体、他の自律車両７４０、およびサービスセンターなどの目的地の位置）、ナビゲーション情報、交通情報、気象情報、娯楽コンテンツ（例えば、音楽、ビデオ、およびニュース）、乗車要求側情報、乗車情報、ならびに他の任意の好適な情報を挙げることができる。自律車両７４０から送信されるデータの例としては、例えば、遠隔測定およびセンサデータ、かかるデータに基づいた決定／判定、車両条件または状態（例えば、電池／燃料レベル、タイヤおよびブレーキ条件、センサ条件、速度、走行距離計など）、位置、ナビゲーションデータ、乗客の入力（例えば、車両７４０のユーザインターフェースを通して、乗客は、輸送管理システム７６０および／または第三者システム７７０にデータを送受信してもよい）、ならびに他の任意の好適なデータを挙げることができる。

【0046】

特定の実施形態では、自律車両７４０は、センサ／遠隔測定データを得て処理してもよい。かかるデータは、任意の好適なセンサによって取得されてもよい。例えば、車両７４０は、３６０°回転して、パルスレーザー光を放射し、車両７４０周囲の対象物からの反射光を測定するように構成された、複数のＬｉＤＡＲ送受信機のＬｉＤＡＲセンサアレイを有してもよい。特定の実施形態では、ＬｉＤＡＲ送信信号は、光回折の原理を使用して光線を方向付けるＭＥＭデバイスであってもよい、ゲーテッドライトバルブ（ｇａｔｅｄ ｌｉｇｈｔ ｖａｌｖｅ）を用いて誘導されてもよい。かかるデバイスは、自律車両の周囲３６０°で光線を誘導するのにジンバル式ミラーを使用しないことがある。それよりもむしろ、ゲーテッドライトバルブは、光線を自律車両の周囲における多数の離散的な位置へと方向付けることができるように配置されてもよい、複数の光ファイバのうち１つへと光線を方向付けてもよい。それにより、自律車両の周囲３６０°でデータが取得されてもよいが、回転部品は不要であってもよい。ＬｉＤＡＲは、標的までの距離を測定するのに有効なセンサであり、そのため、自律車両７４０の外部環境の三次元（３Ｄ）モデルを生成するのに使用されてもよい。一例として、限定ではないが、３Ｄモデルは、センサ配置の最大範囲（例えば、５０、１００、または２００メートル）以内の他の車、縁石、岩屑、物体、および歩行者などの対象物を含む外部環境を表してもよい。別の例として、自律車両７４０は、異なる方向を指す光学カメラを有してもよい。カメラは、例えば、道路、車線区分線、道路標識、交通信号、警察、他の車両、および他の任意の目に見える関心対象物を認識するのに使用されてもよい。車両７４０が夜間に「見る」ことができるようにするため、赤外線カメラが据え付けられてもよい。特定の実施形態では、車両は、例えば、路上の歩行者または木の枝などの危険を見分ける、ステレオ視を具備してもよい。別の例として、車両７４０は、例えば、遠くの他の車両および／または危険を検出する、レーダーを有してもよい。更に、車両７４０は、例えば、駐車および障害物検出のための、超音波機器を有してもよい。車両７４０が、周囲の外部世界を検出、測定、および理解できるようにするセンサに加えて、車両７４０は更に、車両自体の状態および条件を検出し自己診断するためのセンサを具備してもよい。例えば、車両７４０は、例えば速度を測定するホイールセンサ、例えば車両の現在の地理位置を決定する全地球測位システム（ＧＰＳ）、ならびに／あるいは移動もしくは運動検出のための慣性測定ユニット、加速度計、ジャイロスコープ、および／または走行距離計システムを有してもよい。これらのセンサの記載は有用性の特定の例を提供するが、当業者であれば、センサの有用性はそれらの例に限定されないことを認識するであろう。更に、有用性の一例は特定のタイプのセンサに関して記載されることがあるが、有用性は、センサの任意の組み合わせを使用して達成されてもよいことが認識されるべきである。例えば、自律車両７４０は、輸送管理システム７６０または第三者システム７７０から得られる予め生成されたマップとともに、自身のＬｉＤＡＲ、レーダー、ソナー、およびカメラからのデータに基づいて、周囲環境の３Ｄモデルを構築してもよい。センサ７４４は、図７では、自律車両７４０の特定の位置に見えているが、センサ７４４は、自律車両７４０の中または上の任意の好適な位置に位置してもよい。センサの位置の例としては、フロントおよびリアバンパー、ドア、フロントガラス、サイドパネル上、または他の任意の好適な位置が挙げられる。

【0047】

特定の実施形態では、自律車両７４０は、処理装置（例えば、１つまたは複数のＣＰＵおよびＧＰＵ）と、メモリと、記憶装置とを具備してもよい。このように、車両７４０は、センサデータの処理、有用な情報の抽出、および適宜の動作を含む、様々な計算および処理タスクを実施するように装備されてもよい。例えば、カメラおよびマシンビジョンモデルによって取得される画像に基づいて、車両７４０は、歩行者、他の車両、車線、縁石、および他の任意の関心対象物など、画像によって取得される特定のタイプの対象物を識別してもよい。

【0048】

図８は、一例のコンピュータシステムを示している。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書に記載または例証される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００で稼働するソフトウェアは、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施するか、あるいは本明細書に記載または例証される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つもしくは複数の部分を含む。本明細書では、コンピュータシステムに対する言及は、適切な場合、コンピューティングデバイスを包含してもよく、その逆もまた真である。更に、コンピュータシステムに対する言及は、適切な場合、１つまたは複数のコンピュータシステムを包含してもよい。

【0049】

本開示は、任意の好適な数のコンピュータシステム８００を考慮する。本開示は、任意の好適な物理的形態を取るコンピュータシステム８００を考慮する。一例として、限定ではないが、コンピュータシステム８００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）もしくはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、移動電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうち２つ以上の組み合わせであってもよい。適切な場合、コンピュータシステム８００は、１つもしくは複数のコンピュータシステム８００を含むか、一体型または分散型であるか、複数の位置にまたがるか、複数の機械にまたがるか、複数のデータセンタにまたがるか、あるいは１つもしくは複数のクラウドコンポーネントを１つまたは複数のネットワークに含んでもよい、クラウドに常駐してもよい。適切な場合、１つまたは複数のコンピュータシステム８００は、実質的に空間的または時間的な限定なしに、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施してもよい。一例として、限定ではないが、１つまたは複数のコンピュータシステム８００は、リアルタイムまたはバッチモードで、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施してもよい。１つまたは複数のコンピュータシステム８００は、適切な場合、異なる時間または異なる位置で、本明細書に記載または例証される１つまたは複数の方法の１つもしくは複数の段階を実施してもよい。

【0050】

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２と、メモリ８０４と、記憶装置８０６と、入力／出力（Ｉ／Ｏ）インターフェース８０８と、通信インターフェース８１０と、バス８１２とを含む。本開示は、特定の構成で特定の数の特定の構成要素を有する、特定のコンピュータシステムを記載し例証しているが、本開示は、任意の好適な構成で任意の好適な数の任意の好適な構成要素を有する、任意の好適なコンピュータシステムを考慮する。

【0051】

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを作成するものなど、命令を実行するためのハードウェアを含む。一例として、限定ではないが、命令を実行するには、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６から命令を検索し（もしくは取り出し）、それらを復号し実行し、次に１つまたは複数の結果を、内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６に書き込んでもよい。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つもしくは複数の内部キャッシュを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ８０２を考慮する。一例として、限定ではないが、プロセッサ８０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含んでもよい。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ８０２によるそれらの命令の検索を高速化してもよい。データキャッシュ内のデータは、コンピュータ命令によって操作されるべきメモリ８０４もしくは記憶装置８０６内のデータのコピー、後に続く命令にアクセス可能なプロセッサ８０２によって実行された、またはメモリ８０４もしくは記憶装置８０６に書き込むための以前の命令の結果、あるいは他の任意の好適なデータであってもよい。データキャッシュは、プロセッサ８０２による読出しまたは書込み動作を高速化してもよい。ＴＬＢは、プロセッサ８０２のための仮想アドレス変換を高速化してもよい。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つもしくは複数の内部レジスタを含んでもよい。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ８０２を考慮する。適切な場合、プロセッサ８０２は、１つもしくは複数の論理演算装置（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つもしくは複数のプロセッサ８０２を含んでもよい。本開示は、特定のプロセッサを記載し例証しているが、本開示は、任意の好適なプロセッサを考慮する。

【0052】

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行する命令、またはプロセッサ８０２が操作するデータを格納する、メインメモリを含む。一例として、限定ではないが、コンピュータシステム８００は、命令を記憶装置８０６または別のソース（別のコンピュータシステム８００など）からメモリ８０４にロードしてもよい。プロセッサ８０２は次に、命令をメモリ８０４から内部レジスタまたは内部キャッシュにロードしてもよい。命令を実行するため、プロセッサ８０２は、命令を内部レジスタまたは内部キャッシュから検索し、それらを復号してもよい。命令の実行中または実行後、プロセッサ８０２は、１つまたは複数の結果（中間結果もしくは最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込んでもよい。プロセッサ８０２は次に、それらの結果の１つまたは複数をメモリ８０４に書き込んでもよい。特定の実施形態では、プロセッサ８０２は、１つもしくは複数の内部レジスタまたは内部キャッシュ内、あるいはメモリ８０４内（記憶装置８０６または他の場所ではない）の命令のみを実行し、１つもしくは複数の内部レジスタまたは内部キャッシュ内、あるいはメモリ８０４内（記憶装置８０６または他の場所ではない）のデータのみを操作する。１つまたは複数のメモリバス（それぞれアドレスバスおよびデータバスを含んでもよい）は、プロセッサ８０２をメモリ８０４に結合してもよい。バス８１２は、更に詳細に後述するように、１つまたは複数のメモリバスを含んでもよい。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサ８０２とメモリ８０４との間に常駐し、プロセッサ８０２の要求によってメモリ８０４にアクセスするのを容易にする。特定の実施形態では、メモリ８０４はランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであってもよい。適切な場合、このＲＡＭはダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。更に、適切な場合、このＲＡＭはシングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の好適なＲＡＭを考慮する。メモリ８０４は、適切な場合、１つまたは複数のメモリ８０４を含んでもよい。本開示は、特定のメモリを記載し例証しているが、本開示は、任意の好適なメモリを考慮する。

【0053】

特定の実施形態では、記憶装置８０６は、データまたは命令のための大容量記憶装置を含む。一例として、限定ではないが、記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光学ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはそれらのうち２つ以上の組み合わせを含んでもよい。記憶装置８０６は、適切な場合、取外し可能または取外し不能（固定）の媒体を含んでもよい。記憶装置８０６は、適切な場合、コンピュータシステム８００の内部または外部であってもよい。特定の実施形態では、記憶装置８０６は不揮発性固体メモリである。特定の実施形態では、記憶装置８０６は読出し専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的に書き換え可能なＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうち２つ以上の組み合わせであってもよい。本開示は、任意の好適な物理的形態を取る大容量記憶装置８０６を考慮する。記憶装置８０６は、適切な場合、プロセッサ８０２と記憶装置８０６との間の通信を容易にする、１つまたは複数の記憶装置制御ユニットを含んでもよい。適切な場合、記憶装置８０６は、１つまたは複数の記憶装置８０６を含んでもよい。本開示は、特定の記憶装置を記載し例証しているが、本開示は、任意の好適な記憶装置を考慮する。

【0054】

特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏデバイスとの間で通信するための、１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。コンピュータシステム８００は、適切な場合、これらのＩ／Ｏデバイスのうち１つまたは複数を含んでもよい。これらのＩ／Ｏデバイスのうち１つまたは複数は、人とコンピュータシステム８００との間で通信できるようにしてもよい。一例として、限定ではないが、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうち２つ以上の組み合わせを含んでもよい。Ｉ／Ｏデバイスは１つまたは複数のセンサを含んでもよい。本開示は、任意の好適なＩ／Ｏデバイス、およびそれらのための任意の好適なＩ／Ｏインターフェース８０８を考慮する。適切な場合、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスのうち１つまたは複数を駆動できるようにする、１つもしくは複数のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインターフェース８０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース８０８を含んでもよい。本開示は、特定のＩ／Ｏインターフェースを記載し例証しているが、本開示は、任意の好適なＩ／Ｏインターフェースを考慮する。

【0055】

特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と１つもしくは複数の他のコンピュータシステム８００または１つもしくは複数のネットワークとの間で通信（例えば、パケットベースの通信など）するための、１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。一例として、限定ではないが、通信インターフェース８１０は、イーサネット（登録商標）または他の任意の有線ベースのネットワークと通信するための、ネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩ（登録商標）ネットワークなどの無線ネットワークと通信するための、無線ＮＩＣ（ＷＮＩＣ）または無線アダプタを含んでもよい。本開示は、任意の好適なネットワーク、およびそのための任意の好適な通信インターフェース８１０を考慮する。一例として、限定ではないが、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つもしくは複数の部分、あるいはこれらのうち２つ以上の組み合わせを用いて通信してもよい。１つまたは複数のこれらのネットワークにおける１つもしくは複数の部分は、有線または無線であってもよい。一例として、コンピュータシステム８００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ブルートゥース（登録商標）ＷＰＡＮなど）、ＷＩ－ＦＩ（登録商標）ネットワーク、ＷＩ－ＭＡＸネットワーク、セルラー電話ネットワーク（例えば、汎欧州デジタル移動体通信システム（ＧＳＭ（登録商標））ネットワークなど）、または他の任意の好適な無線ネットワーク、あるいはこれらのうち２つ以上の組み合わせを用いて通信してもよい。コンピュータシステム８００は、適切な場合、これらのネットワークのうち任意のものに対する、任意の好適な通信インターフェース８１０を含んでもよい。通信インターフェース８１０は、適切な場合、１つまたは複数の通信インターフェース８１０を含んでもよい。本開示は、特定の通信インターフェースを記載し例証しているが、本開示は、任意の好適な通信インターフェースを考慮する。

【0056】

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに結合する、ハードウェア、ソフトウェア、または両方を含む。一例として、限定ではないが、バス８１２は、アクセラレイテッドグラフィックスポート（ＡＧＰ）または他の任意のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、低ピン数（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の好適なバス、あるいはそれらのうち２つ以上の組み合わせを含んでもよい。バス８１２は、適切な場合、１つまたは複数のバス８１２を含んでもよい。本開示は、特定のバスを記載し例証しているが、本開示は、任意の好適なバスまたは相互接続を考慮する。

【0057】

本明細書では、コンピュータ可読非一時的記憶媒体は、適切な場合、１つもしくは複数の半導体ベースまたは他のタイプの集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光学ディスク、光学ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、他の任意の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうち２つ以上の任意の好適な組み合わせを含んでもよい。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組み合わせであってもよい。

【0058】

本明細書では、「または」は、文脈による別段の明示または別段の指示がない限り、包括的であって排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、文脈による別段の明示または別段の指示がない限り、「Ａ、Ｂ、または両方」を意味する。更に、「および」は、文脈による別段の明示または別段の指示がない限り、共同および個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、文脈による別段の明示または別段の指示がない限り、「共同的または個別的に、ＡおよびＢ」を意味する。

【0059】

本開示の範囲は、当業者であれば理解するであろう、本明細書に記載または例証する例示的実施形態に対する全ての変更、置換、変形、修正、および改良を包含する。本開示の範囲は、本明細書に記載または例証する例示的実施形態に限定されない。更に、本開示は、特定の構成要素、要素、特徴、機能、動作、または段階を含むものとして、本明細書のそれぞれの実施形態を記載し例証しているが、これらの実施形態はいずれも、当業者であれば理解するであろう、本明細書の任意の箇所に記載または例証される構成要素、要素、特徴、機能、動作、または段階のうちいずれかの任意の組み合わせもしくは並べ替えを含んでもよい。更に、添付の特許請求の範囲における、特定の機能を実施するように適合された、配置された、可能である、構成された、可能にされた、動作可能な、または動作する、装置もしくはシステム、あるいは装置もしくはシステムの構成要素に対する言及は、装置、システム、または構成要素がそのように適合されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、それもしくはその特定の機能が活性化されるか、始動されるか、またはロック解除されるか否かにかかわらず、装置、システム、構成要素を包含する。更に、本開示は、特定の利点を提供するものとして特定の実施形態を記載または例証しているが、特定の実施形態は、これらの利点を全く提供しなくても、または一部もしくは全てを提供してもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】