ホーム > 特許ランキング > ＮＯＤＡＲ ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
特許7525936確信度推定値を有する深度マップを提供するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-23
(45)【発行日】2024-07-31
(54)【発明の名称】確信度推定値を有する深度マップを提供するための方法およびシステム
(51)【国際特許分類】
B60R 1/20 20220101AFI20240724BHJP
G06T 7/00 20170101ALI20240724BHJP
G06T 7/593 20170101ALI20240724BHJP
G08G 1/16 20060101ALI20240724BHJP
【ＦＩ】
B60R1/20 100
G06T7/00 650Z
G06T7/593
G08G1/16 C
【請求項の数】
20
(21)【出願番号】P 2022561423
(86)(22)【出願日】2021-12-22
(65)【公表番号】
(43)【公表日】2023-05-25
(86)【国際出願番号】 US2021064856
(87)【国際公開番号】W WO2022150196
(87)【国際公開日】2022-07-14
【審査請求日】2022-11-25
(31)【優先権主張番号】63/229,102
(32)【優先日】2021-08-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】PCT/US2021/012294
(32)【優先日】2021-01-06
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】522292297
【氏名又は名称】ノダー インコーポレイテッド
【氏名又は名称原語表記】ＮＯＤＡＲ ＩＮＣ．
(74)【代理人】
【識別番号】100116322
【弁理士】
【氏名又は名称】桑垣 衛
(72)【発明者】
【氏名】ジャン、リーフ オールデン
(72)【発明者】
【氏名】ブルス、カルステン ルイス
【審査官】久保田 信也
(56)【参考文献】
【文献】特開２００３－２６９９１７（ＪＰ，Ａ）
【文献】特開２０１５－１５８７４９（ＪＰ，Ａ）
【文献】再公表特許第２０１７／０５７０５８（ＪＰ，Ａ１）
【文献】芦ヶ原 隆之 Takayuki Yoshigahara，最終回 コンピュータビジョンは人のビジョンにどこまで近づいたか ～難点とそれを回避する実践的アプローチについて～ How Does Computer-Vision Imitate Human-Vision with the Latest Techniques? -Practical Approaches to Avoid Difficulties- (The Last Chapter)，映像情報メディア学会誌 第６０巻 第１２号 THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS，日本，（社）映像情報メディア学会 THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS，第60巻
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｒ １／２０
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／５９３
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車両移動を制御するための自動車両支援システムであって、前記システムは、コンピュータプロセッサと、前記コンピュータプロセッサに対して結合されたメモリとから成る、車両制御システムと、
第１のセンサシステムであって、
カメラセンサのペアによってキャプチャされた、シーンの第１の画像データを受信することと、
前記第１の画像データからの第１の視差値と、
前記第１の画像データからの第１の確信度値と、
前記第１の視差値からの第２の確信度値と
を算出することと、
前記第１の確信度値に基づく第１の確信度マップと、
前記第２の確信度値に基づく第２の確信度マップと、
前記第１の確信度マップおよび前記第２の確信度マップに基づく第１センサ確信度マップと
を生み出すことと、
前記第１の視差値を含む、第１の視差マップと、
前記第１センサ確信度マップと
を出力することと
を行うように構成された、第１のセンサシステムと
を備え、
前記車両制御システムは、
前記第１のセンサシステムから、前記第１の視差マップと、前記第１センサ確信度マップとを受信することと、
前記第１の視差マップと、前記第１センサ確信度マップとに基づいて、前記車両を制御するために、前記車両の電子制御ユニット（ＥＣＵ）に対して、第１の制御信号をリアルタイムまたはほぼリアルタイムで出力することと、
前記車両の表示デバイスに対して、前記第１の視差マップと、前記第１センサ確信度マップとに基づいた、ビデオストリームを出力することと
を行うように構成される、
自動車両支援システム。
【請求項2】
前記ビデオストリームにおいて、前記第１センサ確信度マップは、前記第１の視差マップの一部になるように、エンコードされる、請求項１に記載の車両支援システム。
【請求項3】
前記第１の画像データは、複数のピクセルから成り、前記第１の視差マップは、前記ピクセルの各々についての視差値から成り、
前記第１センサ確信度マップは、前記ピクセルの各々についての確信度値から成る、
請求項１に記載の車両支援システム。
【請求項4】
前記シーンの少なくとも一部分の第２の画像データを受信し、前記第２の画像データに基づいて、第２センサ確信度マップを出力するように構成された、第２のセンサシステムをさらに備え、
前記車両制御システムは、
前記第２のセンサシステムから、前記第２センサ確信度マップを受信することと、
前記ビデオストリームを、スーパフレームのシーケンスとして出力することであって、各スーパフレームは、前記第１の視差マップと、前記第１センサ確信度マップと、前記第２センサ確信度マップとに基づいた情報を含む、出力することと
を行うように構成される、
請求項１に記載の車両支援システム。
【請求項5】
前記車両制御システムは、前記第１の視差マップと、前記第１センサ確信度マップとに基づいて、前記車両の複数のＥＣＵに対して、複数の制御信号を出力するように構成される、請求項１に記載の車両支援システム。
【請求項6】
前記ビデオストリームは、前記第１の視差マップと、前記第１センサ確信度マップとを含む、少なくとも１つのスーパフレームと、
前記第１の視差マップと、前記第２センサ確信度マップとを含む、少なくとも１つのスーパフレームと
を含む、請求項４に記載の車両支援システム。
【請求項7】
前記ビデオストリームは、前記第１センサ確信度マップの一部分と、前記第２センサ確信度マップの一部分とを含む、少なくとも１つのスーパフレームを含む、請求項４に記載の車両支援システム。
【請求項8】
前記第１の画像データは、ステレオビジョンデータを含み、前記第２の画像データは、ライダデータを含む、
請求項４に記載の車両支援システム。
【請求項9】
前記第１のセンサシステムは、前記第１の画像データに基づいて、複数のカメラベースの確信度マップを生み出すことと、
前記複数のカメラベースの確信度マップからのデータを集約することと、
前記複数のカメラベースの確信度マップから集約された前記データに基づいて、前記第１センサ確信度マップを出力することと
を行うように構成された、確信度プロセッサを含む、請求項１に記載の車両支援システム。
【請求項10】
前記ビデオストリームの複数のスーパフレームはそれぞれ、前記シーンの２次元（２Ｄ）画像に対応する、第１の領域と、
前記シーンの深度マップに対応する、第２の領域と、
前記シーンの確実性マップに対応する、第３の領域と
を含む、
請求項１に記載の車両支援システム。
【請求項11】
前記シーンの前記２Ｄ画像のピクセル、前記シーンの前記深度マップのピクセル、および前記シーンの前記確実性マップのピクセルは、時間的および空間的にマッチさせられる、請求項１０に記載の車両支援システム。
【請求項12】
前記ビデオストリームは、２次元（２Ｄ）カラー画像を含み、各２Ｄカラー画像は、複数のピクセルを含み、各ピクセルのアルファチャンネル透明度は、前記ピクセルについての確信度値に比例する、請求項１に記載の車両支援システム。
【請求項13】
前記２Ｄカラー画像のカラーは、深度範囲を示す、請求項１２に記載の車両支援システム。
【請求項14】
コンピュータプロセッサによって遂行されたときに、前記コンピュータプロセッサに、車両移動を制御するための自動車両支援システムの方法を実行させるコードを記憶した、非一時的コンピュータ可読記憶媒体であって、前記方法は、前記コンピュータプロセッサが、カメラセンサのペアによってキャプチャされた、シーンの第１の画像データを受信する工程と、
前記コンピュータプロセッサが、
前記第１の画像データからの第１の視差値と、
前記第１の画像データからの第１の確信度値と、
前記第１の視差値からの第２の確信度値と
を算出する工程と、
前記コンピュータプロセッサが、
前記第１の視差値から成る、第１の視差マップと、
前記第１の確信度値に基づく第１の確信度マップと、
前記第２の確信度値に基づく第２の確信度マップと、
前記第１の確信度マップおよび前記第２の確信度マップに基づく第１センサ確信度マップと
を生み出す工程と、
前記コンピュータプロセッサが、前記第１の視差マップと、前記第１センサ確信度マップとに基づいて、前記車両を制御するために、前記車両の電子制御ユニット（ＥＣＵ）に対して、第１の制御信号をリアルタイムまたはほぼリアルタイムで出力する工程と、
前記コンピュータプロセッサが、前記車両の表示デバイスに対して、前記第１の視差マップと、前記第１センサ確信度マップとに基づいた、ビデオストリームを出力する工程と
を含む、非一時的コンピュータ可読記憶媒体。
【請求項15】
前記第１の画像データは、複数のピクセルを含み、前記第１の視差マップは、前記ピクセルの各々についての視差値を含み、
前記第１センサ確信度マップは、前記ピクセルの各々についての確信度値を含む、
請求項１４に記載のコンピュータ可読記憶媒体。
【請求項16】
前記方法は、前記コンピュータプロセッサが、前記シーンの少なくとも一部分の第２の画像データに対応する第２センサ確信度マップを獲得する工程と、
前記コンピュータプロセッサが、前記ビデオストリームを、スーパフレームのシーケンスとして出力する工程であって、各スーパフレームは、前記第１の視差マップと、前記第１センサ確信度マップと、前記第２センサ確信度マップとに基づいた情報を含む、工程と
をさらに含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項17】
前記方法は、前記コンピュータプロセッサが、前記第１の視差マップと、前記第１センサ確信度マップとに基づいて、前記車両の複数のＥＣＵに対して、複数の制御信号を出力する工程
をさらに含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項18】
前記ビデオストリームを出力する前記工程は、前記コンピュータプロセッサが、前記第１の視差マップと、前記第１センサ確信度マップとを含むように、少なくとも１つのスーパフレームを準備する工程と、
前記コンピュータプロセッサが、前記第１の視差マップと、前記第２センサ確信度マップとを含むように、少なくとも１つのスーパフレームを準備する工程と
を含む、請求項１６に記載のコンピュータ可読記憶媒体。
【請求項19】
前記ビデオストリームを出力する前記工程は、前記コンピュータプロセッサが、前記シーンの２次元（２Ｄ）画像に対応する、第１の領域と、
前記シーンの深度マップに対応する、第２の領域と、
前記シーンの確実性マップに対応する、第３の領域と
を含むように、前記ビデオストリームの複数のスーパフレームのそれぞれを準備する工程を含む、
請求項１４に記載のコンピュータ可読記憶媒体。
【請求項20】
前記方法は、前記コンピュータプロセッサが、前記第１の画像データに基づいて、複数のカメラベースの確信度マップを生み出す工程と
前記コンピュータプロセッサが、前記複数のカメラベースの確信度マップからのデータを集約する工程と
前記コンピュータプロセッサが、前記複数のカメラベースの確信度マップから集約された前記データに基づいて、前記第１センサ確信度マップを出力する工程と
をさらに含む、請求項１９に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の技術は、ステレオビジョンシステムに関する。詳細には、本発明の技術は、シーンの画像をキャプチャし、２次元（「２Ｄ」）画像データ、シーン内の対象物までの距離に関係する深度推定値データ、および深度推定値データの確実性のレベルに関係する確信度データを出力する、ステレオビジョンシステム（例えば、ステレオカメラシステム）に関する。
【背景技術】
【0002】
ステレオビジョンシステムは、典型的には、左カメラによってキャプチャされた画像と、右カメラによってキャプチャされた画像における、マッチしたピクセル間の視差またはパララックスを測定することによって、距離を推定するために、２つのカメラ（例えば、左カメラおよび右カメラ）を使用する。例えば、特許文献１は、カメラのうちの１つ（しばしば、左カメラ）によってキャプチャされた、平行化画像に対応する、ピクセルシフトデータを包含する、２Ｄマトリックスである、視差マップを出力する、ステレオビジョンシステムおよび方法を開示している。ピクセルの深度は、ピクセルの視差に反比例するので、カメラからピクセルで画像化された対象物までの距離に対応する、画像の各ピクセルについての深度の推定値は、視差マップから容易に計算され得る。そのため、「深度マップ」および「視差マップ」という用語は、それらが、画像のシーンについて、ほぼ同一の情報を提供するので、本願明細書においては、交換可能に使用されることがある。
【0003】
存在しているステレオビジョンシステムの問題は、深度推定値が、典型的には、推定値が、ピクセルごとに、またはフレームごとにでさえ、どの程度信頼できるか（または信頼できないか）の指標なしに提供されることである。従来の運転者支援システムにおいては、車両を停止させる、または操縦するための自動化された決定は、多数のセンサ（例えば、レーダ、ライダ、カメラなど）からの情報に基づいて、いずれのセンサからの情報についても信頼性の知識なしに、行われることがある。これは、運転者支援システムが、不必要な手順（例えば、きわめて低速での走行、過度に頻繁なブレーキなど）を実行することによって、センサからの相反する情報の不確実性を過大補償する結果となり得、乗客の快適性を低下させることがあり、または運転者支援システムが、恣意的に別のセンサよりも１つのセンサを選ぶことによって、相反する情報の不確実性を過小補償する結果となり得、乗客リスクを低下させることがある。認識されるように、運転者支援システムによって行われる決定は、乗客の安全に大きく影響することがあり、時には、重大な生命に関わる決定となることがある。例えば、車両が、幹線道路での運転に典型的な巡航スピードで走行しているとき、対象物までの距離の正確な知識は、巡航スピードを維持、またはほぼ維持しながら、対象物に衝突することを避けるために、運転者支援システムがどのように車両を制御するかに必須であり得る。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第８２０８７１６号明細書
【発明の概要】
【課題を解決するための手段】
【0005】
自律車両および高度運転者支援システムは、車両の周囲についての情報を獲得して、車両の制御システムが、車両をどのように操縦するか、車両のスピードをどのように調整するか（例えば、どのように加速または減速するか）、安全対策を配備するか（例えば、警告点滅灯をオンにするか）どうかなどについての決定を行うことを可能にするために、様々なタイプのセンサ（例えば、ライダ、レーダ、カメラ、超音波、ステレオカメラなど）からの情報を使用し得る。認識されるように、車両の制御システムは、数十の電子制御モジュールまたはユニット（「ＥＣＵ」）を、いくつかのケースにおいては、１００を超えるＥＣＵを含むことがあり、各ＥＣＵは、車両動作の一側面を制御する（例えば、スピード制御ＥＣＵ、ブレーキ制御ＥＣＵ、変速機制御ＥＣＵ、エンジン制御ＥＣＵ、バッテリ管理ＥＣＵなど）。
【0006】
本発明者らは、異なるタイプのセンサからのデータを最も良く融合させる、または組み合わせるためには、センサの各々からの測定値の確信度または確実性のレベルを知ることが重要であることを認知し、認識した。本技術のいくつかの態様においては、画像のペア内に出現する特徴までの距離を示す、高解像度深度情報は、画像のペアのステレオマッチングを通して決定され得る。ステレオマッチングは、視差特徴、先行画像、コスト曲線、および局所的特性のうちのいずれか１つまたは任意の組み合わせに基づいて、距離確実性情報を提供するために実行され得る。距離確実性情報は、深度情報の信頼性が格付けられることを可能にすることによって、センサ融合における問題を最小化または排除するために使用され得、したがって、深度情報を使用して行われた決定の安全性の程度を増加させ得る。
【0007】
本技術の態様によれば、監視ありまたは監視なしの車両移動のための自動車両支援システムが提供される。システムは、コンピュータプロセッサと、コンピュータプロセッサに対して結合されたメモリとから成る、車両制御システムと、シーンの第１の画像データを受信し、第１の画像データに基づいて、第１の視差マップと、第１の確信度マップとを出力するように構成された、第１のセンサシステムとから成り得る。車両制御システムは、第１のセンサシステムから、第１の視差マップと、第１の確信度マップとを受信し、第１の視差マップと、第１の確信度マップとから成る、ビデオストリームを出力するように構成され得る。
【0008】
この態様のいくつかの実施形態においては、ビデオストリームにおいて、第１の確信度マップは、第１の視差マップの一部になるようにエンコードされ得る。いくつかの実施形態においては、視差マップは、ピクセルの各々についての視差データから成り得、確信度マップは、ピクセルの各々についての確信度データから成り得る。いくつかの実施形態においては、第１の画像データは、左右の２次元（２Ｄ）の第１の画像についてのデータから成り得、第１のセンサシステムは、第１の画像データから、左右（２Ｄ）の平行化された第１の画像と、第１のコストボリュームマップとを生成するように構成され得、第１のセンサシステムは、２Ｄの平行化された第１の画像と、第１の視差マップと、第１のコストボリュームマップとから、第１の確信度マップを生成するように構成され得る。いくつかの実施形態においては、第１のセンサシステムは、セミグローバルマッチング（ＳＧＭ）アルゴリズムから決定される一意性の値、および第１の画像データに対するソーベル演算から決定される画像テクスチャメトリックの一方または両方に基づいて、第１の確信度マップを生成するように構成され得る。
【0009】
この態様のいくつかの実施形態においては、車両支援システムは、シーンの少なくとも一部分の第２の画像データを受信し、第２の画像データに基づいて、第２の確信度マップを出力するように構成された、第２のセンサシステムからさらに成り得る。車両制御システムは、第２のセンサシステムから、第２の確信度マップを受信することと、ビデオストリームを、スーパフレームのシーケンスとして出力することであって、各スーパフレームは、第１の視差マップと、第１の確信度マップと、第２の確信度マップとに基づいた情報から成る、出力することとを行うように構成され得る。いくつかの実施形態においては、車両制御システムは、ビデオストリームの情報に基づいて、車両の電子制御ユニット（ＥＣＵ）に対して、制御信号を出力するように構成され得る。いくつかの実施形態においては、第１のセンサシステムは、第１の視差マップと、第１の確信度マップとを生成するために、第１の画像データを処理するように構成された、第１のセンサモジュールであり得、第２のセンサシステムは、第２の確信度マップを生成するために、第２の画像データを処理するように構成された、第２のセンサモジュールであり得、第１のセンサモジュールおよび第２のセンサモジュールは、メモリ内に記憶され得、コンピュータプロセッサは、第１のセンサモジュールおよび第２のセンサモジュールを遂行するように構成され得る。いくつかの実施形態においては、ビデオストリームは、第１の視差マップと、第１の確信度マップとから成る、少なくとも１つのスーパフレームと、第１の視差マップと、第２の確信度マップとから成る、少なくとも１つのスーパフレームとから成り得る。いくつかの実施形態においては、ビデオストリームは、第１の確信度マップの一部分と、第２の確信度マップの一部分とから成る、少なくとも１つのスーパフレームから成り得る。いくつかの実施形態においては、第１の画像データは、ステレオビジョンデータから成り得、第２の画像データは、ライダデータから成り得る。
【0010】
この態様のいくつかの実施形態においては、車両支援システムは、シーンの少なくとも一部分の第３の画像データを受信し、第３の画像データに基づいて、第３の確信度マップを出力するように構成された、第３のセンサシステムからさらに成り得る。第３の画像データは、レーダデータ、または音響データから成る。
【0011】
この態様のいくつかの実施形態においては、ビデオストリームの各スーパフレームは、シーンの２次元（２Ｄ）画像と、シーンの深度マップと、シーンの確実性マップとから成り得る。いくつかの実施形態においては、シーンの確実性マップは、第１の確信度マップ、もしくは第２の確信度マップ、または第１の確信度マップと第２の確信度マップとの組み合わせから成り得る。いくつかの実施形態においては、シーンの深度マップは、シーンの２Ｄ画像に対応する画像データを用いて変調された、第１の視差マップから成り得、シーンの確実性マップは、シーンの２Ｄ画像に対応する画像データを用いて変調された、第１の確信度マップ、もしくは第２の確信度マップ、または第１の確信度マップと第２の確信度マップとの組み合わせから成り得る。いくつかの実施形態においては、シーンの２Ｄ画像のピクセル、シーンの深度マップのピクセル、およびシーンの確実性マップのピクセルは、時間的および空間的にマッチさせられ得る。いくつかの実施形態においては、車両制御システムは、ビデオストリームのデータサイズを下げるために、第１の視差マップからの視差情報、ならびに第１の確信度マップおよび第２の確信度マップからの確信度情報をエンコードするように構成され得る。
【0012】
この態様のいくつかの実施形態においては、車両支援システムは、車両上に搭載されるように構成された、カメラのペアからさらに成り得る。カメラは、第１のセンサシステムに対して、第１の画像データを提供するように構成され得る。
【0013】
この態様のいくつかの実施形態においては、ビデオストリームは、２次元（２Ｄ）カラー画像から成り得、各２Ｄカラー画像は、複数のピクセルから成り、各ピクセルのアルファチャンネル透明度は、ピクセルについての確信度値に比例する。いくつかの実施形態においては、２Ｄカラー画像のカラーは、深度範囲を示し得る。
【0014】
本技術の別の態様によれば、コンピュータプロセッサによって遂行されたときに、コンピュータプロセッサに、監視ありまたは監視なしの車両移動のための自動車両支援システムの方法を実行させるコードが記憶された、非一時的コンピュータ可読記憶媒体が提供される。方法は、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとを獲得する工程であって、第１の視差マップおよび第１の確信度マップは、シーンの第１の画像データに対応する、工程と、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとから成る、ビデオストリームを出力する工程とから成り得る。
【0015】
この態様のいくつかの実施形態においては、ビデオストリームを出力する工程は、コンピュータプロセッサが、第１の視差マップの一部となるように、第１の確信度マップをエンコードする工程から成り得る。いくつかの実施形態においては、第１の画像データは、複数のピクセルから成り得、視差マップは、ピクセルの各々についての視差データから成り得、確信度マップは、ピクセルの各々についての確信度データから成り得る。いくつかの実施形態においては、方法は、コンピュータプロセッサが、シーンの少なくとも一部分の第２の画像データに対応する第２の確信度マップを獲得する工程と、コンピュータプロセッサが、ビデオストリームを、スーパフレームのシーケンスとして出力する工程であって、各スーパフレームは、第１の視差マップと、第１の確信度マップと、第２の確信度マップとに基づいた情報から成る、工程とからさらに成り得る。いくつかの実施形態においては、方法は、コンピュータプロセッサが、ビデオストリームの情報に基づいて、車両の電子制御ユニット（ＥＣＵ）に対して、制御信号を出力する工程からさらに成り得る。いくつかの実施形態においては、方法は、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとを獲得するために、第１の画像データを処理する工程と、コンピュータプロセッサが、第２の確信度マップを獲得するために、第２の画像データを処理する工程とからさらに成り得る。
【0016】
この態様のいくつかの実施形態においては、ビデオストリームを出力する工程は、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとから成るように、少なくとも１つのスーパフレームを準備する工程と、コンピュータプロセッサが、第１の視差マップと、第２の確信度マップとから成るように、少なくとも１つのスーパフレームを準備する工程とから成り得る。いくつかの実施形態においては、ビデオストリームを出力する工程は、コンピュータプロセッサが、第１の確信度マップの一部分と、第２の確信度マップの一部分とから成る、少なくとも１つのスーパフレームを準備する工程からさらに成り得る。いくつかの実施形態においては、第１の画像データは、ステレオビジョンデータから成り得、第２の画像データは、ライダデータ、またはレーダデータ、または音響データから成り得る。
【0017】
この態様のいくつかの実施形態においては、ビデオストリームを出力する工程は、コンピュータプロセッサが、シーンの２次元（２Ｄ）画像と、シーンの深度マップと、シーンの確実性マップとから成るように、ビデオストリームの各スーパフレームを準備する工程から成り得る。いくつかの実施形態においては、コンピュータプロセッサによって、各スーパフレームを準備する工程は、シーンの２Ｄ画像のピクセルと、シーンの深度マップのピクセルと、シーンの確実性マップのピクセルとを、時間的および空間的にマッチさせる工程から成り得る。いくつかの実施形態においては、ビデオストリームを出力する工程は、コンピュータプロセッサが、ビデオストリームのデータサイズを下げるために、第１の視差マップからの視差情報、ならびに第１の確信度マップおよび第２の確信度マップからの確信度情報をエンコードする工程から成り得る。いくつかの実施形態においては、ビデオストリームを出力する工程は、各２Ｄカラー画像が、複数のピクセルから成り、各ピクセルのアルファチャンネル透明度が、ピクセルについての確信度値に比例し、２Ｄカラー画像のカラーが、深度範囲を示すように、２次元（２Ｄ）カラー画像を準備する工程から成り得る。
【0018】
本技術の別の態様によれば、ステレオビジョンシステムが提供される。システムは、画像のペアのシーケンスをキャプチャするように構成された、ステレオカメラシステムであって、画像の各ペアは、同時にキャプチャされた、第１の画像と、第２の画像とから成る、ステレオカメラシステムと、コンピュータプロセッサであって、ステレオカメラシステムから、画像データのストリームを受信することであって、画像データは、画像のペアのシーケンスに対応する、受信することを行うようにプログラムされた、コンピュータプロセッサとから成り得る。コンピュータプロセッサは、画像のペアの各々について、マッチさせられたピクセルの２次元（２Ｄ）ピクセルマップを生成するために、第１の画像と、第２の画像とを平行化することと、ピクセルマップの各ピクセルについて、深度値を決定することと、ピクセルマップの各ピクセルについて、深度値についての確信度値を決定することとを行うようにもプログラムされ得る。コンピュータプロセッサは、確信度値のうちの少なくとも１つが画像異常を示すとき、制御信号を発行することを行うようにもプログラムされ得る。
【0019】
この態様のいくつかの実施形態においては、画像異常は、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応し得る。いくつかの実施形態においては、画像異常は、シーケンスの画像の２つ以上の連続するペアについて、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応し得る。いくつかの実施形態においては、画像異常は、確信度マップの隣接する領域の複数のピクセルから成り得る。いくつかの実施形態においては、制御信号は、事前記録されたメッセージであり得る、可聴音を引き起こすように構成され得る。いくつかの実施形態においては、制御信号は、車両のエンジン制御モジュールに対して発行され得る。いくつかの実施形態においては、ピクセルマップの各ピクセルについて、確信度値は、ピクセルにおけるエッジの有無、ピクセルの照度レベル、ならびにピクセルマップがそれから生成された第１の画像および第２の画像のテクスチャ値に基づいて決定され得る。
【0020】
この態様のいくつかの実施形態においては、コンピュータプロセッサは、画像のペアのシーケンスに対応する、スーパフレームのシーケンスを出力するようにプログラムされ得、スーパフレームの各々は、２Ｄ画像と、２Ｄ画像に対応する確信度マップとから成る。いくつかの実施形態においては、２Ｄ画像は、第１の画像、または第２の画像であり得る。いくつかの実施形態においては、コンピュータプロセッサは、スーパフレームのシーケンスを、２Ｄ画像と、確信度マップに対応する可視的な確信度インジケータとを示すことをディスプレイに行わせる、表示信号として出力するようにプログラムされ得る。表示信号は、確信度インジケータを、２Ｄ画像の各ピクセルの透明度として、ピクセルごとに表示させ得る。いくつかの実施形態においては、スーパフレームの各々は、２Ｄ画像と、確信度マップと、２Ｄ画像に対応する視差マップとから成り得る。
【0021】
本技術の別の態様によれば、コンピュータプロセッサによって遂行されたとき、コンピュータプロセッサに、ステレオビジョンシステムの方法を実行させるコードが記憶された、非一時的コンピュータ可読記憶媒体が提供される。方法は、コンピュータプロセッサが、ステレオカメラシステムから、画像データのストリームを受信する工程であって、画像データは、画像のペアのシーケンスに対応し、画像の各ペアは、同時にキャプチャされた、第１の画像と、第２の画像とから成る、工程と、画像のペアの各々について、コンピュータプロセッサが、マッチさせられたピクセルの２次元（２Ｄ）ピクセルマップを生成するために、第１の画像と、第２の画像とを平行化する工程と、ピクセルマップの各ピクセルについて、深度値を決定する工程と、ピクセルマップの各ピクセルについて、深度値についての確信度値を決定する工程と、確信度マップのうちの少なくとも１つが画像異常を示すとき、コンピュータプロセッサが、制御信号を発行する工程とから成り得る。
【0022】
この態様のいくつかの実施形態においては、画像異常は、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応し得る。いくつかの実施形態においては、画像異常は、シーケンスの画像の２つ以上の連続するペアについて、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応し得る。いくつかの実施形態においては、画像異常は、確信度マップの隣接する領域の複数のピクセルから成り得る。
【0023】
この態様のいくつかの実施形態においては、制御信号は、可聴音を引き起こすように構成され得る。例えば、可聴音は、事前記録されたメッセージであり得る。いくつかの実施形態においては、制御信号は、車両のエンジン制御モジュールに対して発行され得る。いくつかの実施形態においては、ピクセルマップの各ピクセルについて、確信度値は、ピクセルにおけるエッジの有無、ピクセルの照度レベル、ならびにピクセルマップがそれから生成された第１の画像および第２の画像のテクスチャ値に基づいて決定され得る。
【0024】
この態様のいくつかの実施形態においては、方法は、コンピュータプロセッサが、画像のペアのシーケンスに対応する、スーパフレームのシーケンスを出力する工程であって、スーパフレームの各々は、２Ｄ画像と、２Ｄ画像に対応する視差マップと、２Ｄ画像に対応する確信度マップとから成る、工程からさらに成り得る。いくつかの実施形態においては、２Ｄ画像は、第１の画像、または第２の画像であり得る。いくつかの実施形態においては、スーパフレームのシーケンスを出力する工程は、２Ｄ画像と、確信度マップに対応する可視的な確信度インジケータとを示すことをディスプレイに行わせる、表示信号を出力する工程から成り得る。いくつかの実施形態においては、表示信号は、確信度インジケータを、２Ｄ画像の各ピクセルの透明度として、ピクセルごとに表示させ得る。いくつかの実施形態においては、スーパフレームの各々は、２Ｄ画像と、確信度マップと、２Ｄ画像に対応する視差マップとから成り得る。
【0025】
上述の特徴は、本願明細書で議論される実施形態のいずれにおいても、別個に、または任意の組み合わせで一緒に、使用され得る。
本願明細書において開示される本技術の様々な態様および実施形態が、添付の図を参照して、以下で説明される。図は、必ずしも実寸に比例しているとは限らないことが認識されるべきである。多数の図に出現する項目が、同じ参照番号によって示されることがある。明瞭にする目的で、あらゆる構成要素が、あらゆる図において、ラベル付けされるとは限らないことがある。添付の図のうちの少なくとも１つは、以下に示されるように、少なくとも部分的にカラーで作成される。
本願明細書において開示される本技術の様々な態様および実施形態が、添付の図を参照して、以下で説明される。図は、必ずしも実寸に比例しているとは限らないことが認識されるべきである。多数の図に出現する項目が、同じ参照番号によって示されることがある。明瞭にする目的で、あらゆる構成要素が、あらゆる図において、ラベル付けされるとは限らないことがある。添付の図のうちの少なくとも１つは、以下に示されるように、少なくとも部分的にカラーで作成される。
【図面の簡単な説明】
【0026】
【図1】本技術のいくつかの実施形態による、ステレオビジョンシステムのブロック図。
【図2】本技術のいくつかの実施形態による、車両上に配置されたセンサおよび電子制御ユニットの配置を示す図。
【図3】本技術のいくつかの実施形態による、制御システムに対して結合されたステレオビジョンシステムのブロック図。
【図4A】本技術のいくつかの実施形態による、コストボリュームがどのように決定され得るかを理解するための図。
【図4B】本技術のいくつかの実施形態による、コスト曲線の例を示す図。
【図5】本技術のいくつかの実施形態による、確信度処理手順によって実行されるプロセスを示す図。
【図7A】本技術のいくつかの実施形態による、ビデオストリーム内に含まれ得る、異なるタイプのスーパフレームの例を示す図。
【図7B】本技術のいくつかの実施形態による、ビデオストリーム内に含まれ得る、異なるタイプのスーパフレームの例を示す図。
【図7C】本技術のいくつかの実施形態による、ビデオストリーム内に含まれ得る、異なるタイプのスーパフレームの例を示す図。
【図7D】本技術のいくつかの実施形態による、ビデオストリーム内に含まれ得る、異なるタイプのスーパフレームの例を示す図。
【図7E】本技術のいくつかの実施形態による、ビデオストリーム内に含まれ得る、異なるタイプのスーパフレームの例を示す図。
【図7F】本技術のいくつかの実施形態による、ビデオストリーム内に含まれ得る、異なるタイプのスーパフレームの例を示す図。
【図8A】本技術のいくつかの実施形態による、センサによってキャプチャされたシーンを照明することを備える、ビーム領域を概略的に描いた図。
【図8B】本技術のいくつかの実施形態による、シーンのキャプチャされた画像内の対象物についての断面積と範囲との間の関係を描いたグラフ。
【図9B】本技術のいくつかの実施形態による、視差マップおよび確信度マップの例を示す図。
【発明を実施するための形態】
【0027】
車両が動いている最中に、車両の周囲についての情報を獲得して、車両の電子制御システムが、車両をどのように動作させるかについての決定を行うことを可能にするために、および／または車両を操作している運転者を支援するのに有用な情報を運転者に対して提供するために、異なるタイプのセンサシステム（例えば、ライダシステム、レーダシステム、モノビジョンカメラシステム、ステレオビジョンカメラシステム、温度測定システム（例えば、熱電対）、音響システム（例えば、超音波トランスデューサシステム、可聴音マイクロフォンシステムなど））からのセンサ情報が、車両によって使用され得る。例えば、センサ情報は、車両のスピードを調整する（例えば、加速または減速する）、安全手段を配備する（例えば、警告点滅灯、フロントガラスワイパをオンにするなど）、車両の経路内の対象物から離れるように操縦するなどするために、制御システムによって使用され得る。別の例においては、センサ情報は、車両の経路内の特定の対象物を運転者に警告するために、制御システムによって使用され得る。本技術のいくつかの実施形態においては、制御システムは、車両の動作の様々な側面を制御するように構成された、ＥＣＵから成る、集中型コンピュータシステムであり得る。ＥＣＵの各々は、１つまたは複数のセンサからデータを受信し、車両の一部を動作させるために使用される、１つまたは複数の制御信号を出力するために、データを処理するように構成された、ソフトウェアおよび／またはハードウェアから成り得る。上で述べられたように、移動している車両においては、動作中の１００を超えるＥＣＵがあることがある。いくつかのＥＣＵは、他のＥＣＵから独立して動作し得、いくつかのＥＣＵは、１つまたは複数の他のＥＣＵと相互依存して動作し得る。本技術の他のいくつかの実施形態においては、車両の電子制御システムは、非集中化され得る。例えば、バッテリ管理ＥＣＵは、例えば、スピード制御ＥＣＵから独立した、別個のシステムとして動作し得る。各ＥＣＵは、１つタイプのセンサ、または複数タイプのセンサから、センサ情報を受信し得る。例えば、車室温度ＥＣＵは、車両の車室の異なる領域に位置付けられた、１つまたは複数の温度計から、センサ情報を受信し得、ヒータおよび／またはエアコンを制御して、車室の温度を車両の乗員によって設定された温度に維持するために、センサ情報を使用し得る。別の例においては、操縦ＥＣＵは、ステレオ画像化のためのカメラの１つまたは複数のセット、１つまたは複数のレーダシステム、１つまたは複数のライダシステム、１つまたは複数のタイヤ圧計、１つまたは複数のマイクロフォン、２Ｄ画像化のための１つまたは複数のカメラ、および１つまたは複数のナビゲーションシステム（例えば、ＧＰＳシステム）の様々な組み合わせからセンサ情報を受信し得、目的地まで車両を安全に操縦するのに、最も良い一連の行動を決定するために、センサ情報を使用し得る。
【0028】
本発明者らは、異なるタイプのセンサからのデータの使用を最適化するためには、センサの各々からの測定値の確信度または確実性のレベルを知ることが重要であることを認知し、認識した。本技術のいくつかの実施形態によれば、確信度情報は、対象物までの距離を決定するためのデータのために、どのセンサまたはセンサのどの組み合わせが使用されるべきかを決定するために使用され得る。従来のセンサは、典型的には、測定値についての確信度レベルを示す、誤差推定値（例えば、誤差バー）を報告することなく、測定値または推定された測定値を報告し、それが、正確な融合を困難にしていた。しかしながら、上で述べられたように、自動車用途で特に重要な機能的に安全なシステムは、人命の安全に影響し得る決定を行うために、センサ測定値に依存する。したがって、車両の電子制御システムに対して、正確なセンサデータを提供することに、高められた関心があり、それは、制御システムに対して、センサデータについての確信度のレベルを提供することを伴い得る。確信度データを装備することで、制御システムは、センサデータが、車両を制御するために使用されるほど十分に信用できるか、それともセンサデータが、十分に信頼できず、使用されるべきではないかに関する決定をより良く行うことができることがある。認識されるように、センサ融合は、異なるタイプのセンサからのデータを組み合わせるために、中央制御システムによって実行され得るが、本技術のいくつかの実施形態においては、センサ融合は、車両のＥＣＵの１つもしくは複数によって、またはＥＣＵおよび／もしくは中央制御システムと連携して動作する、補助システムによって、実行され得る。
【0029】
本発明者らは、より多くの証拠または情報が利用可能になると、仮説または推定値についての確率を更新するために、ベイズ推論において、推定値の確信度レベルが使用され得ることを認知し、認識した。車両上に配備された同じタイプおよび／または異なるタイプの様々なセンサからのセンサデータが、車両上に配備された特定のセンサからのセンサデータを裏付けるために、使用され得る。本発明者らは、車両の運転者支援システムが、信頼できるデータに基づいて決定を行うことを可能にすることによって、深度推定値についての確信度範囲を報告するセンサが、より安全な車両をもたらし得ることを認知し、認識した。それは、人間の運転者によって制御されないことがある、自律車両にとってとりわけ重要である。例えば、車両が、幹線道路の運転に典型的な巡航スピードで走行しており、センサ（例えば、カメラ）が、（例えば、センサ上のデブリのせいで）センサが車両に近い範囲内にある対象物を間違って検出するように、部分的に妨害された場合、センサによってキャプチャされた画像の分析に織り込まれる様々な因子に基づいて、本技術のいくつかの実施形態によるステレオビジョンシステムは、その対象物に対応するそのセンサデータに対して、相対的に低いレベルの確実性を示す確信度を決定および出力し得、したがって、そのセンサデータは、無視され得る。これは、車両が、その経路上において巡航スピードを継続するように制御されること、または潜在的に偽の（すなわち、存在しない）対象物に衝突することを避けるために、緊急ブレーキをかける、例えば、車両のブレーキを突然適用するような、車両の追突される可能性を増加させ得る制御が行われる代わりに、観察時間を増加させるために、スピードを緩やかに下げるように制御されることを可能にし得る。いくつかの実施形態においては、センサデータと関連付けられた確信度は、センサデータが使用され得るか、それとも相対的に高い確信度を有する、別のセンサからのセンサデータが代わりに使用されるべきかを決定するために使用され得る。例えば、センサデータからの深度情報は、車両の経路内の対象物を示しているが、深度情報が、低い確信度値と関連付けられている場合、対象物らしきものが、より多くの時間にわたって観察されることを可能にするために、および／または対象物らしきものが、他のセンサシステムによってクロスチェックされることを可能にするために、車両は、その走行スピードを下げるように制御され得る。以下で議論されるように、本技術の様々な実施形態によれば、ステレオビジョン技術によって獲得されたデータを裏付けるまたは補足するために、異なるタイプのセンサシステム（例えば、レーダ、ライダ、音響などに基づくシステム）が使用され得る。
【0030】
本発明者らは、特定のセンサが部分的または全体的に誤動作している（例えば、デブリによって部分的または全体的に覆われている）かどうかを、運転者支援システムが決定することを可能にすることによって、各センサからの深度推定値の確信度レベルまたは確実性の程度が、乗客の安全を増加させるために、有利に使用され得ることを認知し、認識した。いくつかの実施形態においては、確信度レベルから導出された情報は、センサにおける異常を運転者に対して警告するために使用され得る。いくつかの実施形態においては、ステレオビジョンシステム、またはステレオビジョンシステムと連携して動作するデバイスは、複数の画像にわたって、低い確信度（例えば、閾値確信度レベルを下回る値）の発生を追跡し得、センサが異常に機能していることがあるかどうかを決定するために、例えば、低い確信度の頻度を使用し得る。
【0031】
本技術のいくつかの実施形態によれば、ステレオビジョンシステムは、画像についての全般的な確信度を決定および出力するように構成され得る。「確信度」、「確信度範囲」、および「確信度レベル」という用語は、本願明細書においては、交換可能に使用されることがある。画像は、移動する車両（例えば、車、トラック、飛行機など）上のセンサによってキャプチャされたシーンのものであり得、または固定された構造物（例えば、街灯、管制塔、住居、オフィスビルなど）上に搭載されたセンサによってキャプチャされたシーンのものであり得る。ステレオビジョンシステムは、車両上に配備されたスタンドアロンシステムであり得、または車両の制御システム内に組み込まれ得る。いくつかの実施形態においては、ステレオビジョンシステムは、画像の複数の領域の各領域についての確信度を決定および出力し得る。例えば、画像は、（例えば、左上、右上、左下、右下）象限に分割され得、ステレオビジョンシステムは、各象限についての確信度を決定および出力し得る。いくつかの実施形態においては、ステレオビジョンシステムは、画像の各ピクセルについての確信度を決定および出力し得る。
【0032】
本技術のいくつかの実施形態によれば、ステレオビジョンシステムは、シーンのキャプチャされた画像に対応する、深度マップを出力するように構成され得る。画像は、キャプチャされたデジタル画像であり得、またはアナログ画像からデジタル化され得る。深度マップは、深度値、またはステレオビジョンシステムのセンサからシーン内の対象物までの距離のマップであり得る。深度マップは、深度マップの各ピクセル（および画像の各ピクセル）が、関連付けられた深度値を有し得るように、画像のピクセルに対応する、ピクセルから成り得る。ステレオビジョンシステムは、深度マップとともに、確信度データを出力するようにも構成され得る。いくつかの実施形態においては、確信度データは、深度マップの確実性または確信度を示す、確信度マップであり得る。いくつかの実施形態においては、確信度マップは、確信度マップの各ピクセル（および画像の各ピクセル）が、関連付けられた確信度を有し得るように、深度マップ（および画像）のピクセルに対応する、ピクセルから成り得る。いくつかの実施形態においては、確信度マップは、誤差バーとして、標準偏差値として、バケット（例えば、高確信度、中確信度、低確信度）で、または各推定された確信度の品質レベルを示すことが可能な他の任意のメトリックで、確信度の推定値を表し得る。
【0033】
上で述べられたように、ピクセルの深度は、ピクセルの視差に反比例するので、画像の各ピクセルについての深度の推定値は、視差マップから計算され得る。そのため、「深度マップ」および「視差マップ」という用語は、それらが、画像内のキャプチャされたシーンについて、ほぼ同一の情報を提供し、当技術分野で知られた単純な代数変換によって関係付けられるので、本願明細書においては、交換可能に使用されることがある。
【0034】
本技術のいくつかの実施形態によれば、自律車両、および／または高度運転者支援システム（ＡＤＡＳ）は、事故を避けるために、および／または信頼できないデータがあるときに、運転者に対して警告するために、深度マップ、および深度マップと関連付けられた確信度値を有利に使用し得る。いくつかの実施形態においては、確信度値は、深度マップの各ピクセルに対して提供され得るので、低い確信度値を有するいくつかのピクセルがあるときに、シーンのキャプチャされたビデオシーケンスのフレーム全体を破棄する必要がないことがある。代わりに、低い確信度値を有するピクセルは、破棄され得、十分に高い確信度値を有する残りのピクセルが、深度算出のために使用され得る。この選択性は、運転中に視野内のシーンを処理するとき、車両のＡピラー、車両のフロントガラスワイパなどの妨害対象物を、運転手は自然に見えないことにし得るという、人間の視覚に非常に似ている。すなわち、運転者は、視野内のシーンを評価しながら、妨害対象物を自動的に無視する。いくつかの実施形態においては、フレームのいくつかが無視された場合であっても、ビデオシーケンスのフレームは使用され得るので、確信度マップは、センサ利用可能性を増加させ得、それは、車両のセンサが、より大きい範囲の環境状況において、より高いデューティーサイクルで、動作することを可能にする。例えば、センサのレンズの一部に汚れがあるときであっても、またはフロントガラスワイパがセンサの視野を部分的に妨害することがあるときも、またはセンサによってキャプチャされた画像の一区画が露出過多であるときも、またはセンサによってキャプチャされた画像の一区画が低い光レベルを有するときも、または画像の他のいくつかのピクセルが無視されるべきデータを有することがある場合であっても、センサによってキャプチャされた画像のいくつかのピクセルが有用なデータを有し得る、いずれの状況があるときも、センサは動作し得る。ピクセルごとの確信度値から成る、確信度マップを提供することによって、車両の電子制御システムは、有効で、相対的に高い確信度値を有する、深度マップのエリアに注意を払うことを可能にされ得る。
【0035】
本技術のいくつかの実施形態によれば、自律車両は、信頼性および安全を増加させるために、カメラ、ライダ、レーダ、および／または超音波センサなどの、異なるセンサからの情報を融合し得る。そのようなセンサは、対象物までの距離に関する情報を報告または提供し得るが、異なるセンサについて異なる距離が報告されたとき、どのセンサを信用すべきかが、不明確なことがある。いくつかの実施形態においては、センサ融合アルゴリズムは、異なるセンサからのデータを組み合わせ得、１つまたは別のセンサからの融合されていない情報が、個別に使用されるときに可能であるよりも、小さい不確実性を有する、融合された情報を出力し得る。本発明者らは、アルゴリズムに対して、異なるセンサの各々についての確実性パラメータ（例えば、分散）を提供することによって、センサ融合アルゴリズムが、融合された情報の確実性を増加させるように、強化され得ることを認知し、認識した。いくつかの実施形態においては、確信度マップは、ピクセルごとに、異なるセンサについて、決定され得るので、センサ融合は、異なるが重なり合う視野を有する２つ以上のセンサについて、可能にされ得る。いくつかの実施形態においては、対象物を包含する重なり合う視野があるとき、対象物についてのレーダ距離推定値は、対象物についてのステレオビジョン距離推定値と比較され得る。例えば、晴天の日中に走行する車の上のセンサは、車上のカメラによってキャプチャされた画像に基づいた、ステレオビジョン距離決定について、非常に高い確信度値を有し得、したがって、とりわけ、車上の他のセンサが、高い確信度値を返すことを期待され得ない、３００メートル以上の範囲または距離にある対象物について、ステレオビジョン距離決定は、車の電子制御システムによって、信用され得る。（例えば、濃霧、土砂降りの雨など）天候が、悪くなった場合、視程は、より低くなり得、結果として、光減衰が、ステレオビジョン距離推定値を悪化させ、関連付けられた確信度値を低くさせ得る。車の制御システムは、そのときは、カメラからのデータの代わりに、レーダデータから距離推定値を獲得するように、切り替え得る。同様に、車が、夜間、または霧もしくは他の降水のない、低い周囲光レベルにおいて走行している場合、典型的なライダシステムは、それ独自の能動的な照明源を有するので、車の制御システムは、レーダデータまたはカメラからのデータからの代わりに、ライダデータから距離推定値を獲得するように、切り替え得る。いくつかの実施形態においては、車の制御システムが、ステレオビジョン距離推定値、ライダ距離推定値、レーダ距離推定値、または音響距離推定値の間の切り替えをいつ行うべきかを決定する代わりに、切り替えは、車の主要なセンサシステムであり得る、車のステレオビジョンシステムによって、実行され得る。認識されるように、上述の例は、車についての距離推定値に関係するが、本技術は、車に限定されず、他の車両（例えば、トラックおよび他の道路車両、列車および他の鉄道車両、船および他の海上車両、ならびに飛行機および他の航空車両など）に適用可能であり得る。
【0036】
図１は、本技術のいくつかの実施形態による、ステレオマッチング確信度または確実性についての値を提供するように構成された、ステレオビジョンシステム１のブロック図を示している。ステレオビジョンシステム１は、複数のセンサシステムに対して結合され、センサシステムの各々から、測定値またはセンサデータを受信するように構成された、コンピュータプロセッサ１０から成り得る。いくつかの実施形態においては、プロセッサ１０に対して結合されたセンサシステムは、カメラ、ライダセンサ、レーダセンサ、および／または超音波センサであり得る、センサ１００から成る、画像化システムから成り得る。いくつかの実施形態においては、ステレオビジョンシステム１は、自律的に動く（すなわち、人間の制御なし）、および／または半自律的に動く（すなわち、人間の制御もしくは限定された人間の制御あり）ことが可能な車両の上に、搭載され得る。例えば、車両は、自動車、トラック、ロボット、海上船舶、および飛行車両などであり得る。
【0037】
本技術のいくつかの実施形態によれば、センサ１００は、同時に、すなわち、時間の同じまたはほぼ同じ瞬間に、車両の環境の画像をキャプチャするように構成された、２つのステレオカメラ１００から成り得る。表記を簡略化するために、カメラ１００は、それらが、互いに対して垂直（例えば、上下）に、または互いに対して斜めに、または（例えば、一方のカメラは車両の前部分にあり、他方のカメラは車両の後部分にあるなど）異なる範囲ビン内にオフセットされて位置決めされることがあっても、本願明細書においては、「左」カメラおよび「右」カメラと呼ばれ得る。カメラ１００は、例えば、カラーＣＭＯＳ（相補型金属酸化膜半導体）カメラ、グレースケールＣＭＯＳカメラ、ＣＣＤ（電荷結合素子）カメラ、ＳＷＩＲ（短波長赤外線）カメラ、ＬＷＩＲ（長波長赤外線）カメラ、または焦点面アレイセンサであり得る。
【0038】
本技術のいくつかの実施形態によれば、センサＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９は、図２に概略的に描かれているように、車両２０上の複数の異なる場所に位置付けられ得る。いくつかの実施形態においては、センサＳ１、Ｓ２、・・・、Ｓ９のうちのいくつかは、車両２０の車室の内部に位置付けられ得、したがって、埃および雨から保護され得る。いくつかの実施形態においては、センサＳ１、Ｓ２、・・・、Ｓ９のいくつかは、車両２０の車室の外部に位置付けられ得、したがって、ベースライン（すなわち、２つのセンサ間の距離）が、車室の幅よりも大きくなることを可能にし得、これは、車室の幅に制限されたベースラインと比較して、相対的により遠い距離にある対象物が、検出されることを可能にし得る。いくつかの実施形態においては、センサＳ１、Ｓ２、・・・、Ｓ９は、センサＳ１、Ｓ２、・・・、Ｓ９からデータを受信し、および／またはセンサＳ１、Ｓ２、・・・、Ｓ９に電力を供給するように構成された、１つまたは複数のＥＣＵ２２、２４に対して、無線または有線で、結合され得る。いくつかの実施形態においては、ＥＣＵ２２、２４のうちの少なくともいくつかは、コンピュータプロセッサ１０の一部であり得る。いくつかの他の実施形態においては、ＥＣＵ２２、２４のうちの少なくともいくつかは、コンピュータプロセッサ１０の外部に位置付けられ得、コンピュータプロセッサ１０に対して、無線または有線で、信号を送信するように構成され得る。いくつかの実施形態においては、ヘッドライト内のカメラのペア（例えば、Ｓ１とＳ９）、またはサイドビューミラー内のカメラのペア（例えば、Ｓ２とＳ８）、またはフロントガラス内のカメラのペア（例えば、Ｓ３とＳ７、もしくは代替として、Ｓ３とＳ５）、またはルーフ上のカメラのペア（例えば、Ｓ４とＳ６）など、２つのカメラだけが、必要とされる。
【0039】
本技術のいくつかの実施形態によれば、ステレオビジョンシステム１は、図３において概略的に示されるように、車両のメインシステムコントローラ３０に対して、結合され得る。いくつかの実施形態においては、メインシステムコントローラ３０は、車両動作のすべての自動化された側面を制御するように構成され得る、車両の制御システムであり得る。いくつかの実施形態においては、ステレオビジョンシステム１は、メインシステムコントローラ３０によって指令されるように構成され得、指令および制御ライン３２を介して、メインシステムコントローラ３０に対する信号、およびメインシステムコントローラ３０からの信号を通信し得る。認識されるように、指令および制御ライン３２は、有線通信メカニズム（例えば、データバス、通信ライン）であり得、または当技術分野において知られた通信技法を使用する、無線通信メカニズムであり得る。いくつかの実施形態においては、メインシステムコントローラ３０は、高レベル機能（例えば、自動緊急ブレーキ、ルート選択など）を編成し、高レベル機能を実施するために、様々なサブシステムまたはＥＣＵ（例えば、ステレオビジョンシステム１）と通信するように構成された、コンピュータから成り得る。いくつかの実施形態においては、指令および制御ライン３２を介した通信のために、共通通信プロトコルが、使用され得る（例えば、イーサネット（登録商標）、ＣＡＮ（コントローラエリアネットワーク）、Ｉ２Ｃ（集積回路間）、ＬＩＮ（ローカル相互接続ネットワーク）など）。ステレオビジョンシステム１は、図３において、メインシステムコントローラ３０から分離して示されているが、ステレオビジョンシステム１は、いくつかの実施形態においては、メインシステムコントローラ３０の一部であり得、いくつかの実施形態においては、メインシステムコントローラ３０の筐体内に、物理的に位置付けられ得る。
【0040】
図１に戻ると、カメラ１００は、本技術のいくつかの実施形態によれば、画像取得モジュール１０２に対して、無線でまたは有線接続で、結合され得る。いくつかの実施形態においては、カメラ１００によってキャプチャされたシーンの画像データは、知られた通信インターフェース（例えば、ＵＳＢ（ユニバーサルシリアルバス）コネクタ、イーサネット（登録商標）コネクタ、ＭＩＰＩ（モバイル業界プロセッサインターフェース）ＣＳＩ（カメラシリアルインターフェース）コネクタ、ＧＭＳＬ（ギガビットマルチメディアシリアルリンク）コネクタ、およびフラットパネルディスプレイリンク（ＦＰＤリンク）コネクタなど）を介して、画像取得モジュール１０２に対して、転送され得る。いくつかの実施形態においては、カメラ１００は、画像取得モジュール１０２に対して画像データを、リアルタイムまたはほぼリアルタイムで、直接的に、またはカメラ１００に組み込まれ得る、バッファメモリデバイス（例えば、ＲＡＭ）を介して、送信するように構成され得る。いくつかの実施形態においては、カメラ１００は、画像取得モジュール１０２、およびコンピュータプロセッサ１０の他の一部によってアクセス可能な、データ記憶メモリデバイス１４０と関連付けられ得、カメラ１００は、データ記憶デバイス１４０に対して、画像データを送信するように構成され得る。いくつかの実施形態においては、カメラ１００は、シーンのビデオデータのストリームをキャプチャするように構成された、ビデオカメラであり得る。ビデオデータのストリームは、左ストリームと、右ストリームとから成り得、各ストリームは、フレームのシーケンスから成る。したがって、本願明細書において使用される場合の「画像データ」という用語は、いくつかの実施形態においては、ビデオデータのフレームに言及していることがある。
【0041】
本技術のいくつかの実施形態によれば、画像取得モジュール１０２は、原デジタル画像データまたは「原画像データ」を生成するために、カメラ１００からの画像データをデジタル化するように構成され得る。いくつかの実施形態においては、画像取得モジュール１０２は、画像前処理モジュール１０４に対して、原画像データを提供し得る。いくつかの実施形態においては、画像取得モジュール１０２は、将来の処理のために原画像データを記憶し得る、メモリ１４０に対して、原画像データを提供し得る。
【0042】
本技術のいくつかの実施形態によれば、画像前処理モジュール１０４は、補正された左画像および右画像を生成するために、原画像データを補正するように構成され得る。例えば、画像前処理モジュール１０４は、デモザイク、自動焦点、自動露出、および自動ホワイトバランス補正、口径食、ノイズリダクション、不良ピクセルフィルタリング、ＨＤＲ（ハイダイナミックレンジ）ルックアップテーブルカラー処理、および画像圧縮のうちのいずれか１つまたは任意の組み合わせを実行し得る。補正された左画像および右画像は、画像平行化モジュール１０６に対して、転送され得る。
【0043】
本技術のいくつかの実施形態によれば、画像平行化モジュール１０６は、補正された左画像および右画像のピクセルの対応する行が、同じエピポーラ平面上にあるように、それらを歪ませることによって、補正された左画像および右画像を平行化するように構成され得る。歪ませた後、画像平行化モジュール１０６は、カラー画像またはグレースケール画像であり得る、左右の平行化２Ｄ画像１１４を出力し得る。認識されるように、画像平行化は、補正された左画像および右画像における共通の対象物のマッチングを簡略化するために使用される、知られた技法である。画像平行化モジュール１０６は、ステレオマッチングモジュール１０８、確信度処理モジュール１１０、およびエンコーダモジュール１１２に対して、左右の平行化２Ｄ画像１１４を提供し得る。
【0044】
本技術のいくつかの実施形態によれば、ステレオマッチングモジュール１０８は、平行化２Ｄ画像１１４における各マッチングピクセルペア間の視差を計算するように構成され得る。ステレオマッチングモジュール１０８によって実行される処理は、いくつかの実施形態においては、４つの手順、すなわち、コスト計算手順、コスト集約手順、視差計算手順、および視差精緻化手順から成り得、それらの各々は、以下で議論される。
【0045】
本技術のいくつかの実施形態によれば、コスト計算手順は、可能な視差値のセットのうちの各視差値における、各ピクセルについてのマッチングコストを計算することによって、「視差空間画像」と呼ばれることもある、３次元（３Ｄ）コストボリュームマップ１１８を構築することから成り得る。以下で議論されるように、コストボリューム（またはより正しくは、マッチングコストボリューム）は、Ｗ×Ｈ×Ｄの積として決定され得、ＷおよびＨは、各画像の幅寸法および高さ寸法であり、Ｄは、視差仮説または可能な視差の数である。特定のピクセルと特定の視差値とについてのマッチングコストは、その特定のピクセルが、その特定の視差値を有する可能性がどれだけ低いかを表す。典型的には、以下で議論されるように、与えられたピクセルについて、最も低いマッチングコストを有する視差値が、視差マップにおいて使用されるために、選定される。与えられたピクセルについての視差値を選択するためのこのアプローチは、いわゆる勝者総取り（ＷＴＡ）アプローチであり、勝者は、最も低いマッチングコストを有する視差値、すなわち、すべての視差仮説の中で最良のものである。マッチングコストは、例えば、絶対差技法、相互情報量（ＭＩ）技法（例えば、階層的ＭＩ（ＨＭＩ）技法）、正規化相互相関（ＮＣＣ）技法、ハミング距離技法など、知られた技法を使用して、計算され得る。いくつかの実施形態においては、ＮＣＣ技法は、Ｈ．ヒルシュミュラ（Ｈ．Ｈｉｒｓｃｈｍｕｌｌｅｒ）らによる、「ステレオマッチングのためのコスト関数の評価（Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）」（２００７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）において説明されているように、考察中のピクセルの周りの２つのサブウィンドウ（左右の平行化２Ｄ画像１１４の各々において１つのサブウィンドウ）についてのコストをマッチさせるために、使用され得る。いくつかの実施形態においては、ハミング距離技法は、Ｓ．サリカ（Ｓ．Ｓａｒｉｋａ）らによる、「変動する放射測定条件下におけるセンサスフィルタリングベースのステレオマッチング（Ｃｅｎｓｕｓ Ｆｉｌｔｅｒｉｎｇ Ｂａｓｅｄ Ｓｔｅｒｅｏｍａｔｃｈｉｎｇ Ｕｎｄｅｒ Ｖａｒｙｉｎｇ Ｒａｄｉｏｍｅｔｒｉｃ Ｃｏｎｄｉｔｉｏｎｓ）」（２０１５ Ｐｒｏｃｅｄｉａ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ）において説明されているように、考察中のピクセルを取り囲む近隣ピクセルが、これらのピクセルの強度値が、考察中のピクセルのそれよりも大きいか、それとも小さいかに応じて、ビットストリングにマッピングされる、センサス変換において、使用され得る。
【0046】
図４Ａは、本技術のいくつかの実施形態による、コストボリュームマップ１１８がどのように決定され得るかを理解するための図を示している。コストボリューム分析において、コストボリュームマップ１１８は、平行化２Ｄ画像１１４の左平行化画像（または右平行化画像）内のあらゆるピクセルについてのコスト曲線（例えば、コスト曲線４００）を収集することによって、構築され得る。コストボリュームマップ１１８は、Ｈ×Ｗ×Ｄの要素を有し、Ｈは、画像の高さであり（例えば、Ｈは、行方向におけるピクセルの数であり得、またはより低い精度のマッチングが許される場合、行方向におけるピクセルグループの数であり得）、Ｗは、画像の幅であり（例えば、Ｗは、列方向におけるピクセル数であり得、またはより低い精度のマッチングが許される場合、列方向におけるピクセルグループの数であり得）、Ｄは、探索される視差の数である。したがって、簡略化して述べると、コストボリュームマップ１１８は、各ピクセル座標（行および列）についてのコスト曲線を備えると考えられ得る。いくつかの実施形態においては、コストボリュームマップ１１８は、当技術分野で知られている技法を使用して、より信頼性の高いマッチングコストを獲得するために、（例えば、フィルタリングによって）精緻化され得る。例えば、Ｃ．レーマン（Ｃ．Ｒｈｅｍａｎｎ）らによる、「ビジュアルコレスポンデンスおよびその先のための高速コストボリュームフィルタリング（Ｆａｓｔ ｃｏｓｔ－ｖｏｌｕｍｅ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｖｉｓｕａｌ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ａｎｄ ｂｅｙｏｎｄ）」（２０１１ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）において説明されている技法がある。
【0047】
図４Ｂは、本技術のいくつかの実施形態による、コストマッチング手順を説明するために使用され得る、コスト曲線４００の例を示している。認識されるように、コストマッチングは、典型的には、左平行化画像において（Ｈ０，Ｗ０）の（行，列）座標を有するピクセルＰと、右平行化画像において（Ｈ０，Ｗ０＋Ｄ０）の座標を有するピクセルとの間で、実行され得る。マッチングコストと視差との間の関係を示す、コスト曲線４００は、考察中の特定のピクセルを表し得る。（言及される「マッチングコスト」という用語は、本願明細書においては、「マッチコスト」または「コスト」と呼ばれることもある）。図４Ｂに示されるように、コスト曲線４００は、視差がｄ１のとき、ｃｄ１の最も低いグローバル最小コストを有し、視差がｄ２のとき、ｃｄ２の２番目に低いグローバル最小コストを有し、視差がｄ２ｍのとき、ｃｄ２ｍの２番目に低いローカル最小コストを有する。認識されるように、「グローバル」という用語は、コスト曲線４００におけるすべての点にわたって評価された値に対して使用され得、「ローカル」という用語は、コスト曲線４００の一部分にわたって評価された値に対して使用され得る。
【0048】
本技術のいくつかの実施形態によれば、マッチングコストについての値は、左右の平行化２Ｄ画像１１４における考察中のピクセルの周りの、列方向において５ピクセルにまたがり、行方向において５ピクセルにまたがる、サブウィンドウ（「５×５」サブウィンドウ）について、ＮＣＣ技法（上を参照）を使用して、決定され得る。
【0049】
本技術のいくつかの実施形態によれば、コスト集約手順は、コスト計算手順の結果を利用して、各ピクセルのサポート領域にわたって、マッチングコストを集約することから成り得る。「ローカル」ステレオマッチング技法については、サポート領域は、関心ピクセルの周りの近隣ピクセルのグループにおけるコストの加重和であると理解され得る。「セミグローバル」および「グローバル」ステレオマッチング技法については、サポート領域は、画像内の全ピクセルについてのコストの関数であると理解され得る。
【0050】
本技術のいくつかの実施形態によれば、視差計算手順は、コスト集約手順の結果を使用し、ローカルまたはグローバル最適化方法を使用して、各ピクセルについての視差を計算することと、精緻化されていない視差マップを生成することとから成り得る。計算スピード対正確さが、ローカル最適化手法とグローバル最適化手法との間の選定を決定し得る。例えば、ローカル方法は、正確さよりもスピードが望まれる場合に使用され得、一方、グローバル方法は、スピードよりも正確さが望まれる場合に使用され得る。いくつかの実施形態においては、ブロックマッチングなどの、ローカル最適化方法が使用され得る。いくつかの実施形態においては、セミグローバルマッチング（ＳＧＭ）などの、グローバル最適化方法が使用され得る。
【0051】
本技術のいくつかの実施形態によれば、視差精緻化手順は、左右の平行化２Ｄ画像１１４についての２Ｄ視差マップ１１６を生成するために、精緻化されていない視差マップをフィルタリングすることから成り得る。視差精緻化手順は、視差値を補正するための任意選択の手順である。従来の精緻化ステップは、左右チェックと、穴埋めと、平滑化フィルタと、異常値検出および除去とを含む。
【0052】
本技術のいくつかの実施形態によれば、ステレオマッチングモジュール１０８は、上で説明されたものとは異なる、ステレオマッチング技法を採用し得る。例えば、ステレオマッチングモジュールは、モド サアド ハミド（Ｍｏｈｄ Ｓａａｄ Ｈａｍｉｄ）らによる、「深層学習に基づいたステレオマッチングアルゴリズム：調査（Ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ： Ａ ｓｕｒｖｅｙ）」（２０２０ Ｊｏｕｒｎａｌ ｏｆ Ｋｉｎｇ Ｓａｕｄ Ｕｎｉｖｅｒｓｉｔｙ － Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ）において説明されている１つもしくは複数の技法、および／またはＨ．ヒルシュミュラ（Ｈ．Ｈｉｒｓｃｈｍｕｌｌｅｒ）による、「セミグローバルマッチングおよび相互情報量によるステレオ処理（Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ－Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）」（２００８ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）において説明されている１つもしくは複数の技法を使用し得る。
【0053】
本技術のいくつかの実施形態によれば、ステレオマッチングモジュール１０８は、図１に示されるように、ステレオビジョンシステム１のプロセッサ１０のエンコーダモジュール１１２、および確信度処理モジュール１１０に対して、２Ｄ視差マップ１１６を出力する。いくつかの実施形態においては、ステレオマッチングモジュール１０８は、確信度処理モジュール１１０に対して、視差マップ１１６を導出することとの関連において上で議論された、３Ｄコストボリュームマップ１１８も出力する。
【0054】
本技術のいくつかの実施形態によれば、確信度処理モジュール１１０は、画像平行化モジュール１０６から、左右の２Ｄ平行化画像１１４を、ステレオマッチングモジュール１０８から、コストボリュームマップ１１８を、およびステレオマッチングモジュール１０８から、２Ｄ視差マップ１１６を、入力として受信し、これらの入力から、平行化画像１１４の各ピクセルについて推定される視差の正確さを決定するように構成される。
【0055】
確信度処理モジュール１１０は、本技術のいくつかの実施形態によれば、ビデオストリームの各フレームについての確信度値を計算するように構成され得る。いくつかの実施形態においては、確信度処理モジュール１１０は、ビデオストリームの各フレームの各ピクセルについての確信度値を計算し得る。したがって、本願明細書における「画像」という用語は、ビデオストリームのフレームを包含し得ることが理解されるべきである。
【0056】
図１に戻ると、確信度処理モジュール１１０は、本技術のいくつかの実施形態によれば、エンコーダモジュール１１２に対して、確信度情報を出力し得る。確信度情報は、いくつかの実施形態においては、ビデオストリームの各フレームについての確信度マップ１２０であり得る。確信度マップ１２０は、ステレオマッチングモジュール１０８によって、エンコーダモジュール１１２に対して出力された、視差マップ１１６と同じ次元（ｄｉｍｅｎｓｉｏｎｓ）を有し得る。いくつかの実施形態においては、確信度マップ１２０は、視差マップ１１６内の対応するピクセルについての深度推定値の確信度レベルを表す値を示す、フレームの各ピクセルについての確信度情報を含み得る。いくつかの実施形態においては、特定のピクセルの確信度レベルを表す値は、そのピクセルについて決定された視差または深度の２乗平均平方根誤差であり得、またはそのピクセルについて決定された視差または深度の９５％信頼区間であり得、または変動性の任意の尺度（例えば、標準偏差、平均の標準誤差、信頼区間、データ範囲、パーセンタイルなど）であり得る。Ｍ．ポッジ（Ｍ．Ｐｏｇｇｉ）らによる、「深層学習時代におけるステレオマッチングの確信度について：量的評価（Ｏｎ ｔｈｅ ｃｏｎｆｉｄｅｎｃｅ ｏｆ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｉｎ ａ ｄｅｅｐ－ｌｅａｒｎｉｎｇ ｅｒａ： ａ ｑｕａｎｔｉｔａｔｉｖｅ ｅｖａｌｕａｔｉｏｎ）」（２０２１ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、およびＸ．フー（Ｘ．Ｈｕ）らによる、「ステレオビジョンのための確信度尺度の量的評価（Ａ Ｑｕａｎｔｉｔａｔｉｖｅ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｃｏｎｆｉｄｅｎｃｅ Ｍｅａｓｕｒｅｓ ｆｏｒ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ）」（２０１２ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）において説明されているものなど、他の確信度メトリックが使用され得る。
【0057】
図５は、本技術のいくつかの実施形態による、確信度処理モジュール１１０によって実行される処理を示す図である。いくつかの実施形態においては、ブロック５００において、第１の確信度尺度プロセスは、ステレオマッチングモジュール１０８から受信されたコストボリューム１１８に基づいて、第１の確信度マップ５０８を計算する。いくつかの実施形態においては、各ピクセルについてのコスト曲線（例えば、コスト曲線４００）の勝者マージンが計算され、第１の確信度マップ５０８上における、そのピクセルの確信度値として使用され得る。勝者マージン（ＷＭＮ）は、コスト曲線全体にわたって正規化された、２番目に低いローカル最小コストｃｄ２ｍと最も低いグローバル最小コストｃｄ１との間の差、または
【0058】
【数1】
【0059】
として定義され得、ｐは、考察中のピクセルの座標であり、ｃは、マッチコストであり、Ｄは、探索される視差のセットである。いくつかの実施形態においては、第１の確信度マップ３０８は、Ｍ．ポッジ（Ｍ．Ｐｏｇｇｉ）らによる、「深層学習時代におけるステレオマッチングの確信度について：量的評価（Ｏｎ ｔｈｅ ｃｏｎｆｉｄｅｎｃｅ ｏｆ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｉｎ ａ ｄｅｅｐ－ｌｅａｒｎｉｎｇ ｅｒａ： ａ ｑｕａｎｔｉｔａｔｉｖｅ ｅｖａｌｕａｔｉｏｎ）」（２０２１ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）において要約されているものなど、他の尺度からも導出され得る。
【0060】
本技術のいくつかの実施形態によれば、ブロック５０２において、確信度処理モジュール１１０の第２の確信度尺度プロセスは、画像平行化モジュール１０６から受信された平行化２Ｄ画像１１４に基づいて、第２の確信度マップ５１０を計算する。いくつかの実施形態においては、テクスチャが、例えば、平行化２Ｄ画像１１４内における変化を決定するために、画像データの導関数（例えば、ｘ導関数）を算出することによって、平行化２Ｄ画像１１４上において測定され、テクスチャ値は、第２の確信度マップ５１０を導出するために使用され得る。いくつかの実施形態においては、画像テクスチャは、ｘソーベル演算子を使用して、測定され得る。認識されるように、テクスチャのない特徴、または画像内の複数の他の特徴と同じである特徴をマッチさせる際の困難さのせいで、少ないテクスチャ、または繰り返し構造から成るテクスチャを有する画像上において、３Ｄ再構築処理を実行することは困難であることが、ステレオビジョン技術において知られている。この困難さを考慮して、第２の確信度マップ３１０は、ｘソーベル演算子：
【0061】
【数2】
【0062】
を用いて畳み込まれた、グレースケール画像から導出され得る。画像内のエッジを強調することが知られている、そのようなソーベル畳み込みまたはフィルタリングは、平行化２Ｄ画像１１４内にエッジがあるとき、高い値を産出し得、したがって、ステレオマッチングを行うのがより容易であり得る、より鮮明な、より良く定義された特徴という結果になり得る。いくつかの実施形態においては、ソーベル畳み込みに加えて、またはソーベル畳み込みの代わりに、第２の確信度マップ５１０は、ピクセルの強度に基づいて、各ピクセルを評価し、最小閾値を下回る、または最大閾値を上回る強度を有するピクセルにペナルティを与えることによって、導出され得る。例えば、最小閾値を下回る信号強度レベルを有する、各低強度または過小照明ピクセルに対して、ゼロまたは低い確信度値が決定され得、同様に、最大値を上回る信号強度レベルを有する、各過大照明または飽和ピクセルに対して、ゼロまたは低い確信度値が決定され得る。
【0063】
本技術のいくつかの実施形態によれば、ブロック５０４において、確信度処理モジュール１１０の第３の確信度尺度プロセスは、ステレオマッチングモジュール１０８から受信された視差マップ１１６に基づいて、第３の確信度マップ５１２を計算する。いくつかの実施形態においては、第３の確信度マップ３１２についての確信度値は、平行化２Ｄ画像１１４の各ピクセルについて決定された視差の分散から計算され得る。いくつかの実施形態においては、分散は、近隣ピクセル（例えば、考察中のピクセルを取り囲むピクセル）について決定された視差に関する統計的分散であり得る。例えば、相対的により高い分散を有するピクセルは、ピクセルが、よりノイズの多い（例えば、より散在性の）データを有する、視差マップ１１６の領域の一部であることを示し得、したがって、相対的により低い確信度値を割り当てられ得る。認識されるように、ノイズの多さは、ぼやけを示し得、画像をキャプチャするために使用されたセンサ（例えば、カメラ１００）、またはセンサの領域が、汚れている、または部分的に見えなくされている可能性があることを示し得る。視差マップ１１６における分散を検出するために、知られた技法（例えば、ラプラスフィルタおよび／またはソーベルフィルタに基づいた技法）が使用され得る。いくつかの実施形態においては、閾値分散を下回る分散は、考察中のピクセルが、ぼやけている、またはぼやけた領域内にあることを示し得、したがって、第３の確信度マップ５１２において、低い確信度値を割り当てられ得る。
【0064】
認識されるように、第１の確信度マップ５０８、第２の確信度マップ５１０、および第３の確信度マップ５１２は、本技術のいくつかの実施形態によれば、画像の各ピクセル、またはビデオストリームの各フレームの各ピクセルについての確信度値から成ると説明されたが、いくつかの他の実施形態においては、第１の確信度マップ５０８、第２の確信度マップ５１０、および第３の確信度マップ５１２のうちの１つまたは複数は、画像またはフレームの２つ以上のピクセルを代表する、確信度値から成り得る。例えば、ビデオストリームの各フレームは、ｎ個のグループにカテゴライズされたピクセルから成り得、確信度処理モジュール１１０は、ビデオストリームの各フレームについて、ｎ個の確信度値（すなわち、ｎ個のグループの各々についての確信度値）を計算するように構成され得る。
【0065】
本技術のいくつかの実施形態によれば、ブロック５０６において、確信度処理モジュール１１０の集約器プロセスは、第１の確信度マップ５０８、第２の確信度マップ５１０、および第３の確信度マップ５１２を使用し、確信度マップ１２０を生成するために、第１の確信度マップ５０８、第２の確信度マップ５１０、および第３の確信度マップ５１２における推定された確信度値を組み合わせる。したがって、確信度マップ１２０は、複数の確信度の尺度に基づいた、確実性の最も良い推定値である、強化された確信度値から成り得る。いくつかの実施形態においては、集約器プロセスは、各ピクセルについて、確信度の和を計算することから成り得、和を、確信度マップ１２０におけるピクセルについての強化された確信度値として使用し得る。いくつかの実施形態においては、集約器プロセスは、第１の確信度マップ５０８、第２の確信度マップ５１０、および第３の確信度マップ５１２における確信度を重み付けし、その後、各ピクセルについて、確信度の加重和を計算することを備え得、加重和を、確信度マップ１２０におけるピクセルについての強化された確信度値として使用し得る。いくつかの実施形態においては、集約器プロセスは、各ピクセルについて、第１の確信度マップ５０８、第２の確信度マップ５１０、および第３の確信度マップ５１２におけるピクセルについての確信度を、確信度マップ１２０におけるピクセルについての強化された確信度値として使用される、単一の値を出力し得る、ルックアップテーブルに対する、３つの入力値として使用することを備え得る。
【0066】
図１に戻ると、確信度処理モジュール１１０は、本技術のいくつかの実施形態によれば、コンピュータプロセッサ１０のエンコーダモジュール１１２に対して、確信度マップ１２０を出力し得る。エンコーダモジュール１１２は、平行化２Ｄ画像１１４、視差マップ１１６、および確信度マップ１２０を受信し、受信された情報をエンコードし、エンコードされた情報から成る、ビデオストリーム１２２を出力するように構成され得る。いくつかの実施形態においては、ビデオストリーム１２２は、車両のメインシステムコントローラ３０に対して、提供され得る。
【0067】
本技術のいくつかの実施形態によれば、ビデオストリーム１２２は、各２４ビットカラー値が、カメラ１００によってキャプチャされたシーンまでの範囲または距離であるようにエンコードされ得る、２４ビットカラー深度ビデオから成り得る。いくつかの実施形態においては、０から近似的に１６８００メートルまでの距離が、２４ビットを用いて表され得、各カラーは、１６８００メートル範囲の異なる１ミリメートル部分を表す。いくつかの実施形態においては、ビデオストリーム１２２は、ピクセルから成る２Ｄフレームから成り得、各フレームのピクセルは、平行化２Ｄ画像１１４のピクセルに対応する。ビデオストリーム１２２の各フレームの各ピクセルは、強化された確信度値とともに、エンコードされ得る。例えば、各強化された確信度値は、０から２５５までの８ビット符号なし値であり得、相対的により高い値は、より高いレベルの確信度を示し得る。いくつかの実施形態においては、確信度マップ１２０の強化された確信度値について、８ビット表現を使用することは、確信度マップ１２０が、グレースケール画像として表示されることを可能にし得る。いくつかの実施形態においては、ビデオストリーム１２２は、深度または距離を表す、２４ビットカラービデオストリームから成り得、確信度を表す、８ビットモノクロビデオストリームからも成り得る。深度データが確信度データから分離され得るように、ビデオストリーム１２２を出力することは、いくつかの実施形態においては、例えば、対象物を検出する際、および車両の対象物までの距離を決定する際に、強化された信頼性を提供するために、異なるタイプのセンサ（例えば、ライダ、レーダ、超音波、カメラなど）からのデータが組み合わされ得る、センサ融合を容易にし得る。例えば、シーン内の対象物が、典型的なカメラによってキャプチャされた画像において、明確に見えないことがある、霧がかかった環境においては、画像のピクセルについての確信度値は、一般に、画像全体にわたって低くなり得る。そのようなケースにおいては、車両の制御システム（例えば、メインシステムコントローラ３０）は、画像が、使用されるのに十分なほど信頼できないと決定し得る。
【0068】
本技術のいくつかの実施形態によれば、ステレオビジョンシステム１のコンピュータプロセッサ１０は、ライダ確信度処理モジュール１２４から成り得、センサ１００は、レーザ光を用いてシーンを照明し、シーンから受光された反射光から、ライダ画像データ（例えば、ビデオストリーム）と、ライダ確信度データとを生成し、エンコーダモジュール１１２に対して、ライダ確信度マップ１２６を出力するように構成された、ライダセンサから成り得る。任意選択で、ライダ画像データは、ライダ確信度マップ１２６と一緒に出力され得る。いくつかの実施形態においては、コンピュータプロセッサ１０は、レーダ確信度処理モジュール１２８から成り得、センサ１００は、知られた波長（例えば、７６．５ＧＨｚ）の波を用いてシーンを照明し、知られた波長を有し、シーンから反射された反射波から、レーダ画像データ（例えば、ビデオストリーム）と、レーダ確信度データとを生成し、エンコーダモジュール１１２に対して、レーダ確信度マップ１３０を出力するように構成された、レーダセンサから成り得る。任意選択で、レーダ画像データは、レーダ確信度マップ１３０と一緒に出力され得る。いくつかの実施形態においては、コンピュータプロセッサ１０は、音響確信度処理モジュール１３２から成り得、センサ１００は、知られた波長（例えば、２０ｋＨｚ）の音響波（例えば、超音波）を用いてシーンを照射し、知られた波長を有し、シーンから反射された反射波から、音響画像データ（例えば、ビデオストリーム）と、音響確信度データとを生成し、エンコーダモジュール１１２に対して、音響確信度マップ１３４を出力するように構成された、トランスデューサから成り得る。任意選択で、音響画像データは、音響確信度マップ１３４と一緒に出力され得る。ライダ画像データ、レーダ画像データ、および音響画像データについての確信度値を決定するための技法が、以下で議論される。
【0069】
本技術のいくつかの実施形態によれば、ライダ確信度処理モジュール１２４は、ステレオマッチングモジュール１０８から、視差マップ１１６およびコストボリュームマップ１１８を、確信度処理モジュール１１０から、確信度マップ１２０を受信するように構成され得る。図１には示されていないが、ライダ確信度処理モジュール１２４は、いくつかの実施形態においては、画像平行化モジュール１０６から、左右の平行化２Ｄ画像１１４の一方または両方を受信するようにも構成され得る。ライダ確信度処理モジュール１２４は、比較を実行するために、およびライダ確信度データが、確信度マップ１２０の対応する領域よりも高い確信度値である値を有する領域を識別するために、確信度マップ１２０と、他の受信された情報（すなわち、視差マップ１１６、および／またはコストボリュームマップ１１８、および／または平行化２Ｄ画像１１４の一方もしくは両方）のうちのいくつかまたはすべてとを使用し得る。いくつかの実施形態においては、ライダ確信度処理モジュール１２４は、エンコーダモジュール１１２に対して、比較情報を、ライダ確信度マップ１２６と一緒に提供し得る。同様に、いくつかの実施形態においては、視差マップ１１６、コストボリュームマップ１１８、および確信度マップ１２０が、エンコーダモジュール１１２に対して、比較情報を、レーダ確信度マップ１３０と一緒に提供するように構成され得る、レーダ確信度処理モジュール１２８に対して提供され得る。同様に、いくつかの実施形態においては、視差マップ１１６、コストボリュームマップ１１８、および確信度マップ１２０が、エンコーダモジュール１１２に対して、比較情報を、音響確信度マップ１３４と一緒に提供するように構成され得る、音響確信度処理モジュール１３２に対して提供され得る。
【0070】
本技術のいくつかの実施形態によれば、エンコーダモジュール１１２は、カメラ１００によって獲得されたセンサデータだけに基づいた深度情報を含むように、ビデオストリーム１２２をエンコードするか、それとも別のセンサシステム（例えば、ライダセンサ、レーダセンサ、音響センサ、カメラの別のペアなど）だけに基づいた深度情報を含むように、ビデオストリーム１２２をエンコードするか、それとも車両上の複数の異なるセンサシステムから導出されたセンサデータを組み合わせるために、センサ融合を実行するかを決定するために、確信度マップ１２０と、ライダ確信度マップ１２６、レーダ確信度マップ１３０、および音響確信度マップ１３４のうちの１つまたは複数とを使用し得る。いくつかの実施形態においては、エンコーダモジュール１１２は、ビデオストリーム１２２における画像データ、深度データ、および／または確信度データが、異なるセンサシステムから決定された、最も高い確信度値に対応するように、ビデオストリーム１２２をエンコードするように構成され得る。いくつかの実施形態においては、ビューストリーム１２２のフレームは、平行化２Ｄ画像１１４に基づいた、１つまたは複数のフレームと、ライダ画像データに基づいた、１つまたは複数のフレームによって後続される、確信度マップ１２０と、音響画像データおよび音響確信度マップ１３４に基づいた、１つまたは複数のフレームによって後続される、ライダ確信度マップ１２６とから成り得る。いくつかの実施形態においては、ビデオストリーム１２２の１つまたは複数のフレームは、各々、異なるセンサシステムから導出されたデータの組み合わせから成り得る。例えば、ビデオストリーム１２２のフレームの各々は、４つの象限（例えば、左上、右上、左下、右下）から成り得、各象限は、最も高い全般的な確信度（例えば、象限のピクセルにわたる最も高い平均確信度レベル）を有するセンサデータから成る。したがって、カメラ１００の一方または両方の上のデブリが、確信度マップ１２０の左上象限に、車両の他のセンサシステムの全般的な確信度と比較して最も低い全般的な確信度を有させるが、確信度マップ１２０の他の３つの象限は、最も高い全般的な確信度値を有する場合、ビデオストリーム１２２の対応するフレームの左上象限は、最も高い全般的な確信度を有する、センサシステムからのデータを用いて、置き換えられ得る。認識されるように、ビデオストリーム１２２のフレームを、フレームごとに、または象限ごとに、最適化する代わりに、フレームは、異なるセンサシステムのセンサによってキャプチャされたシーンの高信頼性の推定値を提供する他のやり方で最適化され得る。いくつかの実施形態においては、車両が、夜間に、または暗い環境において動作させられているとき、エンコーダモジュール１１２は、カメラベースデータの代わりに、例えば、ライダベースデータを用いて、ビデオストリーム１２２をエンコードし得る。
【0071】
図６は、本技術のいくつかの実施形態による、ビデオストリーム１２２の例を描いている。ビデオストリーム１２２は、シーケンスフレームから成り得、そのうちの３つだけが、すなわち、フレームＮ ６００、フレームＮ＋１ ６０２、およびフレームＮ＋２ ６０４だけが示されている。いくつかの実施形態においては、各フレームは、（カラーまたはグレースケールでの）左（または右）平行化２Ｄ画像１１４と、（カラーまたはグレースケールでの）視差マップ１１６と、（カラーまたはグレースケールでの）確信度マップ１２０とから成る、スーパフレーム６０６であり得る。いくつかの実施形態においては、スーパフレーム６０６は、以下のうちの、すなわち、速度大きさマップ、（ｘ軸に沿った動きを描く）水平速度マップ、（ｙ軸に沿った動きを描く）垂直速度マップ、および（ｚ軸に沿った動きを描く）視線速度マップのうちのいずれか１つまたは任意の組み合わせなどの、１つまたは複数の速度マップも包含し得る。速度マップは、２つ以上のフレームにわたって、密なオプティカルフローを有する、マッチさせられた点（またはピクセル）を追跡し、その後、マッチさせられた点の視差マップ値の差を決定することによって、計算され得る。この方式においては、スーパフレーム６０６は、ビデオフレームの他の任意のストリームと同じように送信され得、したがって、エンコーディング、デコーディング、送信などのための存在しているビデオ技術を有利に使用し得る。認識されるように、視差マップ１１６は、代わりに、深度マップであり得、なぜなら、両方のタイプのマップは、センサ（例えば、カメラ１００）から、センサによってキャプチャされたシーンまでの距離に関係し、両方のタイプのマップは、典型的には、互いに反比例するからである。いくつかの実施形態においては、各スーパフレームの平行化２Ｄ画像１１４の各ピクセルの「アルファチャンネル」または透明度が、情報を記憶するために、使用され得る。例えば、ピクセルについての深度推定値の確信度または確実性についての値は、ピクセルのアルファチャンネル内に記憶され得る。
【0072】
図７Ａ乃至図７Ｆは、本技術のいくつかの実施形態による、ビデオストリーム１２２内に含まれ得る、６タイプのスーパフレームを示している。認識されるように、異なるタイプのスーパフレームは、異なるタイプの情報から成り、したがって、異なるサイズを有し得る。図７Ａは、垂直に連結された、２Ｄ ＲＧＢ（赤緑青）カラー画像７００（例えば、左（または右）平行化２Ｄ画像１１４）と、深度マップまたは視差マップ７００（例えば、視差マップ１１６）と、確信度マップ７０４（例えば、確信度マップ１２０）とから成る、スーパフレーム７５０を示している。いくつかの実施形態においては、スーパフレーム７５０の各ピクセルは、ピクセルの視差または範囲を記述するために、３バイトを使用し得、３バイトが、ピクセルの確信度レベルを記述するために使用され得る。いくつかの実施形態においては、スーパフレーム７５０の各ピクセルは、９バイトを用いて指定され得る。図７Ｂは、２Ｄカラー画像７０６と、視差マップおよび確信度マップの連結とから成る、スーパフレーム７５２を示している。いくつかの実施形態においては、スーパフレーム７５２の各ピクセルは、視差マップのために２バイト、確信度マップのために１バイトを使用し得、連結すると合計で３バイトである。いくつかの実施形態においては、スーパフレーム７５２の各ピクセルは、６バイトを用いて指定され得る。図７Ｃは、赤色画像７１０のためのチャンネル、緑色画像７１２のためのチャンネル、および青色画像７１４のためのチャンネルを含む、チャンネルから形成される、２Ｄカラー画像から成る、スーパフレーム７５４を示している。スーパフレーム７５４は、上位バイト７１６および下位バイト７１８を含む、１６ビット視差マップと、確信度マップとからも成る。いくつかの実施形態においては、スーパフレーム７５４の各ピクセルは、６バイトを用いて指定され得る。図７Ｄは、赤色画像７２２、緑色画像７２４、および青色画像７２６から形成されたカラー画像と、視差マップ７２８と、確信度マップ７３０とから成る、スーパフレーム７５６を示している。いくつかの実施形態においては、視差マップ７２８の各ピクセルは、５バイトを用いて指定され得る。図７Ｅは、２Ｄグレースケール画像７３２と、視差マップ７３４と、確信度マップ７３６とから成る、スーパフレーム７５８を示している。いくつかの実施形態においては、スーパフレーム７５８の各ピクセルは、３バイトを用いて指定され得る。図７Ｆは、２Ｄカラー画像７３８と、視差マップ７４０と、確信度マップ７４２とから成る、スーパフレーム７６０を示している。カラー画像７３８の各ピクセルは、１バイトを用いて指定され得る。例えば、カラー画像７３８は、ベイヤフィルタパターンまたはルックアップテーブルによって、カラーパレット内に指定され得、これは、スーパフレーム７６０が、ＲＧＢカラー画像におけるのと同じくらいコンパクトであることを可能にし得る。いくつかの実施形態においては、スーパフレーム７６０の各ピクセルは、３バイトを用いて指定され得る。
【0073】
上で述べられたように、エンコーダモジュール１１２に対して、カメラ１００からのセンサデータに基づいた、ステレオビジョン確信度マップ１２０を提供することに加えて、ライダ確信度マップ１２６、レーダ確信度マップ１３０、および音響確信度マップ１３４が、エンコーダモジュール１１２に対して、提供され得る。ライダセンサ、レーダセンサ、および音響センサは、上で説明されたように、カメラ１００と同じまたは同様の視野を有し得、または重なり合う視野を有し得る。いくつかの実施形態においては、ライダ確信度マップ１２６、レーダ確信度マップ１３０、および音響確信度マップ１３４のうちの１つまたは複数は、ビデオストリーム１２２に対して、付加され得る。例えば、ライダ確信度マップ１２６（または別の確信度マップ）は、図７Ａ乃至図７Ｆのスーパフレーム７５０、７５２、７５４、７５６、７５８、７６０のいずれかの確信度マップ内に、別個のビットとしてエンコードされ得、または単純に、例えば、垂直連結によって、スーパフレームに対して付加され得る。
【0074】
本技術のいくつかの実施形態によれば、ライダセンサが、画像の各ピクセルについてのライダ戻り信号を提供するように構成される場合、ライダ確信度マップ（例えば、ライダ確信度マップ１２６）は、２Ｄ画像（例えば、左（または右）平行化２Ｄ画像１１４）の各ピクセルについての確信度値から成り得る。いくつかの実施形態においては、ライダセンサは、例えば、１つ置きのピクセルもしくは２つ置きのピクセルについての、またはピクセルの事前決定されたグループについての、ライダ戻り信号を提供するように構成され得、これは、相対的により疎らであるが、それでも依然として有用なライダ確信度マップという結果になり得る。各ピクセルが、その座標（ｉ，ｊ）によって識別され得る場合、ピクセル（ｉ，ｊ）の確信度値は、ｍｉｊと表記され得る。いくつかの実施形態においては、ライダ確信度マップは、
Ｒ≧Ｒｍｉｎの場合、ｍｉｊ＝ａ０Ｒ－２（Ｐ＋Ｐ０）－１／２
Ｒ＜Ｒｍｉｎの場合、ｍｉｊ＝０
に従った、２Ｄ画像１１４と視差マップ１１６との関数であり得、Ｒは、視差マップ１１６によって測定されるような、ピクセル（ｉ，ｊ）における対象物までの距離または範囲であり、Ｐは、２Ｄ画像１１４によって測定されるような、ピクセル（ｉ，ｊ）の（太陽光または他の光源からの）背景光パワーであり、ａ０は、正規化定数であり、Ｐ０は、フィッティング定数であり、Ｒｍｉｎは、ライダセンサの最小距離である。いくつかの実施形態においては、Ｐの値は、例えば、カメラ１００についてのセンサゲインおよび露出値によって除算された、ピクセル（ｉ，ｊ）における２Ｄ画像１１４のグレースケール値であり得る。上で示されたように、ライダ確信度マップを生成する際に使用される、２Ｄ画像および視差マップは、カメラ１００によってキャプチャされた２Ｄ画像１１４、およびステレオビジョン処理に基づいて決定された視差マップ１１６であり得る。いくつかの実施形態においては、ピクセル（ｉ，ｊ）における対象物が、ライダセンサの最小範囲よりも近いとき、ピクセル（ｉ，ｊ）についての確信度値は、ゼロに設定され得る。確信度値ｍｉｊについての上記の式は、距離または範囲の２乗、すなわち、Ｒ２に反比例し、また背景光パワー、すなわち、Ｐの平方根にも反比例するように、すなわち、
ＳＮＲｌｉｄａｒ∝Ｒ－２Ｐ－１／２
となるように、ライダ信号対雑音比（ＳＮＲ）の推定から、導出される。すなわち、対象物が、ライダセンサから遠く離れるほど、戻り信号は低下し、それ故、ライダ推定の正確さは、戻り信号に対応する受光された光子の数に比例して、低下する。加えて、任意の背景光（例えば、太陽、月、人工）は、ライダセンサによって「ショットノイズ」を感知させることがあり、ノイズエネルギーは、背景光パワーの平方根に等しい。したがって、ライダ確信度マップ１２６は、２つの物理量、すなわち、ピクセルにおける対象物までの距離と、ピクセルにおける背景光のレベルとに基づき得る。
Ｒ≧Ｒｍｉｎの場合、ｍｉｊ＝ａ０Ｒ－２（Ｐ＋Ｐ０）－１／２
Ｒ＜Ｒｍｉｎの場合、ｍｉｊ＝０
に従った、２Ｄ画像１１４と視差マップ１１６との関数であり得、Ｒは、視差マップ１１６によって測定されるような、ピクセル（ｉ，ｊ）における対象物までの距離または範囲であり、Ｐは、２Ｄ画像１１４によって測定されるような、ピクセル（ｉ，ｊ）の（太陽光または他の光源からの）背景光パワーであり、ａ０は、正規化定数であり、Ｐ０は、フィッティング定数であり、Ｒｍｉｎは、ライダセンサの最小距離である。いくつかの実施形態においては、Ｐの値は、例えば、カメラ１００についてのセンサゲインおよび露出値によって除算された、ピクセル（ｉ，ｊ）における２Ｄ画像１１４のグレースケール値であり得る。上で示されたように、ライダ確信度マップを生成する際に使用される、２Ｄ画像および視差マップは、カメラ１００によってキャプチャされた２Ｄ画像１１４、およびステレオビジョン処理に基づいて決定された視差マップ１１６であり得る。いくつかの実施形態においては、ピクセル（ｉ，ｊ）における対象物が、ライダセンサの最小範囲よりも近いとき、ピクセル（ｉ，ｊ）についての確信度値は、ゼロに設定され得る。確信度値ｍｉｊについての上記の式は、距離または範囲の２乗、すなわち、Ｒ２に反比例し、また背景光パワー、すなわち、Ｐの平方根にも反比例するように、すなわち、
ＳＮＲｌｉｄａｒ∝Ｒ－２Ｐ－１／２
となるように、ライダ信号対雑音比（ＳＮＲ）の推定から、導出される。すなわち、対象物が、ライダセンサから遠く離れるほど、戻り信号は低下し、それ故、ライダ推定の正確さは、戻り信号に対応する受光された光子の数に比例して、低下する。加えて、任意の背景光（例えば、太陽、月、人工）は、ライダセンサによって「ショットノイズ」を感知させることがあり、ノイズエネルギーは、背景光パワーの平方根に等しい。したがって、ライダ確信度マップ１２６は、２つの物理量、すなわち、ピクセルにおける対象物までの距離と、ピクセルにおける背景光のレベルとに基づき得る。
【0075】
レーダセンサおよび音響センサも、ライダセンサと同じく、Ｒ－２Ｐ－１／２に比例する、ＳＮＲを有し得る。この特性は、本技術のいくつかの実施形態による、ライダ確信度マップを計算するための、上で説明されたのと同様の方式で、レーダ確信度マップ（例えば、レーダ確信度マップ１３０）、および／または音響確信度マップ（例えば、音響確信度マップ１３４）を計算するために、採用され得る。
【0076】
本技術のいくつかの実施形態によれば、車両上の異なるセンサシステムは、異なる距離範囲にある対象物を感知するように、配置され得る。例えば、図８Ａは、レーダセンサシステムまたは音響センサシステムによって照射されるビーム領域８００を概略的に描いている。ビーム領域８００は、多数の距離または範囲ＲＡ、ＲＢ、ＲＣ、ＲＤにおいて、多数の対象物Ａ、Ｂ、Ｃ、Ｄを有する、シーンを包含し得る。対象物から反射される戻り信号の強さは、ステレオビジョンシステム１によって測定され得る、対象物の断面積に比例する（例えば、範囲は、視差マップ１１６に基づき、ターゲットの面積は、左（または右）平行化２Ｄ画像１１４によって与えられる）。いくつかの実施形態においては、センサシステムによって検出された戻り信号は、信号強さに基づいて、異なるビン内にカテゴライズされ得る。図８Ｂは、対象物Ａ、Ｂ、Ｃ、Ｄの各々について、断面積と範囲との間の関係を描いたグラフである。破線は、レーダセンサシステム（またはライダセンサシステム）のノイズフロア８０２を表す。ノイズフロア８０２は、レーダおよびライダ技術についての知られた量であり、距離の２乗の関数として劣化することが知られている、センサ感度に対応し得る。上で述べられたように、ライダＳＮＲは、距離または範囲の２乗に反比例する値として、推定され得る。いくつかの実施形態においては、ピクセルについてのライダ（またはレーダ）確信度は、ピクセルについてのＳＮＲに比例する値として、決定され得る。例えば、複数のピクセルにまたがり得る対象物の断面積の、ノイズフロア８０２の範囲スケール値に対する比は、ＳＮＲに比例する値であり、対象物が出現するピクセルについての確信度値として、使用され得る。
【0077】
本技術の例となる実施形態によれば、ステレオビジョンシステム１がインストールされた車両は、乗用車であり得る。センサ１００は、車のフロントガラスの左上部分および右上部分（例えば、図２におけるセンサＳ３、Ｓ７の位置）上に搭載された、２つのカメラであり得、上で議論されたスーパフレーム７５０などのスーパフレームから成り得る、ビデオストリーム１２２になるように処理および変換される、画像をキャプチャするように構成され得る。スーパフレーム７５０のＲＧＢ画像７００は、画像前処理モジュール１０４の一部であり得る、またはステレオマッチングが実行される前に、画像が平行化を施される前（または後）に、キャプチャされた画像の画像データを処理する、コンピュータプロセッサ１０の別個のモジュールであり得る、対象物検出モジュール（例えば、単眼対象物検出器）によって、解析され得る。例えば、対象物検出モジュールは、キャプチャされた画像のシーンにおいて、様々な形状のバウンディングボックスを決定するために、トレーニングされた畳み込みニューラルネットワークを使用するように構成され得る。形状は、ニューラルネットワークが、車によってしばしば遭遇される典型的な対象物（例えば、他の車両、歩行者、自転車に乗った人、交通標識、交通信号など）として認知するようにトレーニングされた、対象物のカテゴリに対応し得る。スーパフレーム７５０の視差マップ７０２は、検出された対象物までの平均距離を決定するために、バウンディングボックスにわたって平均化され得る。さらに、地面または路面が、Ｓ．カケガワ（Ｓ．Ｋａｋｅｇａｗａ）らによる、「ステレオカメラのための垂直ローカル視差ヒストグラムに基づいた路面セグメンテーション（Ｒｏａｄ Ｓｕｒｆａｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｖｅｒｔｉｃａｌｌｙ Ｌｏｃａｌ Ｄｉｓｐａｒｉｔｙ Ｈｉｓｔｏｇｒａｍ ｆｏｒ Ｓｔｅｒｅｏ Ｃａｍｅｒａ）」（Ｉｎｔ’ｌ Ｊ． ＩＴＳ Ｒｅｓ． ｖｏｌ．１６，ｐｐ．９０－９７，２０１８）において説明されている、垂直視差ヒストグラムを使用した技法、ならびにＨ．バジノ（Ｈ．Ｂａｄｉｎｏ）らによる、「確率的占有グリッドおよび動的プログラミングを使用したフリースペース計算（Ｆｒｅｅ Ｓｐａｃｅ Ｃｏｍｐｕｔａｔｉｏｎ Ｕｓｉｎｇ Ｓｔｏｃｈａｓｔｉｃ Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄｓ ａｎｄ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）」（Ｗｏｒｋｓｈｏｐ ｏｎ Ｄｙｎａｍｉｃａｌ Ｖｉｓｉｏｎ， ＩＣＣＶ，２００７）において説明されている、確率的占有グリッドおよび動的プログラミングを使用した技法など、知られた技法を使用して、視差マップ７０２から計算され得る。路面から、未分類のロードハザード（例えば、オートバイのヘルメット、レンガ、緩んだ積荷からの木製パレット、マフラ、タイヤから分離したトレッドなど）が、見つけられ、マークされ得る。典型的な路面上の小さい未分類の対象物は、しばしば、よく定義されたエッジおよび輪郭特徴を有し、それが、確信度マップ７０４における、高い確信度値をもたらし得、したがって、誤検出および不必要な自動緊急ブレーキが発生することを防止し得る。この例となる実施形態においては、カメラ１００の一方または両方のキャプチャされた画像の左下の一部を塞ぐ、デブリ（例えば、泥）が、フロントガラス上にある場合、確信度処理モジュール１１０は、ステレオマッチングモジュール１０８が、ステレオマッチングモジュール１０８によって出力される、コストボリュームマップ１１８の左下の一部において、高いコストを繰り返し報告することを検出し得、したがって、確信度マップ１２０の対応領域について、低い確信度値を提供し得る。車のメインシステムコントローラ３０は、低い確信度値が、許容可能な確信度閾値内にあるかどうかを決定するように構成され得、閾値内にない場合、左下領域からのデータを無効化するように、コンピュータプロセッサ１０を制御し得る。すなわち、いくつかの実施形態においては、左下領域についての確信度値が、信頼性閾値よりも低く、したがって、左下領域についての計算された深度値は、無効であり得るので、コンピュータプロセッサ１０は、誤読を避け、結果として、車の誤った制御を避ける（例えば、シーン内に実際にはない対象物を避けるために、回避行動を実行するように、車が制御されるのを防止する）ために、左下領域に関連する、カメラ１００からのデータを使用して、キャプチャされた画像のシーン内の対象物を検出しないように制御され得る。代わりに、上で議論されたように、データについての確信度値が、確信度閾値を満たしている場合、車上の他のセンサからのデータが使用され得る。
【0078】
図３に戻ると、メインシステムコントローラ３０は、本技術のいくつかの実施形態によれば、車両の動作の様々な側面を制御するように構成された、複数のＥＣＵ３４－１、３４－２、３４－３、３４－４、・・・、３４－ｎに対して、制御信号を発行するように構成され得る。例えば、ビデオストリーム１２２は、車両のディスプレイ（示されず）に対して提供され得、また赤い尾灯が車両の経路の前方にあり、それが交通渋滞または他の潜在的危険を示していることがあると、高い確実性（例えば、９０％よりも高い確実性）で決定するために、ビデオストリーム１２２からの視差情報および確信度情報を使用し得る、メインシステムコントローラ３０に対しても提供され得る。メインシステムコントローラ３０は、その後、車両を減速させ、停止させるように、車両のパワートレインを制御し得る、ＥＣＵ３４－１に対して、制御信号を発行し得る。いくつかの実施形態においては、コンピュータプロセッサ１０および／またはメインシステムコントローラ３０による処理は、シーンの画像データが、カメラ１００によってキャプチャされ、画像取得モジュール１０２に対して転送されたときに対して、リアルタイムまたはほぼリアルタイム（例えば、２秒未満または１秒未満）で、ディスプレイが、ビデオストリーム１２２に対応するビデオを示し得るだけ、十分に高速であり得る。いくつかの実施形態においては、ＥＣＵ３４－１は、シーンの画像データが、カメラ１００によってキャプチャされ、画像取得モジュール１０２に対して転送されたときに対して、リアルタイムまたはほぼリアルタイムで、制御信号を受信し得る。上で述べられたように、メインシステムコントローラ３０と、ＥＣＵ３４－１、３４－２、３４－３、３４－４、・・・、３４－ｎとの間の通信は、技法を介し得る。例えば、指令および制御ライン３２は、車両に内蔵されたネットワークまたはバスであり得、メインシステムコントローラ３０と、ＥＣＵ３４－１、３４－２、３４－３、３４－４、・・・、３４－ｎとの間で信号を送るために、知られたプロトコル（例えば、イーサネット（登録商標）、ＣＡＮ、Ｉ２Ｃ、ＬＩＮなど）を使用し得る。
【0079】
図９Ａおよび図９Ｂは、２つの５メガピクセルカメラによってキャプチャされ、上で説明された本技術の様々な実施形態に従って処理された、シーンの画像からの結果である、データの例を示している。２つのカメラは、それらが１．２ｍのベースラインによって分離されるように、標準的な乗用車のルーフに搭載された。図９Ａは、シーンの距離および明度の両方が、同時に見られ得るように、グレースケールカメラ画像（示されず）とブレンドされた、カラー視差マップを示している。視差マップは、赤色が相対的に近い対象物を示し、青色が相対的により遠く離れた対象物を示す、ｊｅｔカラーマップを用いてエンコードされた、０から１０２３までの値を有する。視差マップの透明度は、グレースケールカメラ画像によって変調される。図９Ｂは、シーンの対応する確信度マップを示している。確信度マップは、Ｈ．ヒルシュミュラ（Ｈ．Ｈｉｒｓｃｈｍｕｌｌｅｒ）による、「セミグローバルマッチングおよび相互情報量によるステレオ処理（Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ－Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）」（２００８ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）において説明されているような、セミグローバルマッチングアルゴリズムからの、各ピクセルについての最小集約コスト値を示している。
【0080】
本技術のいくつかの実施形態によれば、図１、図３、および図５における処理モジュールおよび構成要素は、ハードウェア（例えば、上で説明された手順および方法を実行するようにプログラムされた、１つもしくは複数のコンピュータプロセッサ）で、および／またはソフトウェア（例えば、コンピュータ遂行可能コード）で、実施され得る。いくつかの実施形態においては、ソフトウェアの少なくともいくつかは、コンピュータプロセッサ内に事前プログラムされ得る。いくつかの実施形態においては、ソフトウェアの少なくともいくつかは、非一時的コンピュータ可読記憶媒体上に、または複数の非一時的コンピュータ可読記憶媒体上に記憶され得、それらは、コンピュータプロセッサによってアクセスされ、遂行され得る。いくつかの実施形態においては、プロセスモジュールは、ソフトウェアモジュール、もしくはハードウェアモジュール、またはハードウェアとソフトウェアとを組み合わせたモジュールであり得る。
【0081】
本願明細書において説明された技術による、車両支援システムは、異なる構成で具現化され得る。例となる構成は、以下のような構成（１）乃至（２１）の組み合わせを含む。
（１）監視ありまたは監視なしの車両移動のための自動車両支援システムであって、システムは、コンピュータプロセッサと、コンピュータプロセッサに対して結合されたメモリとから成る、車両制御システムと、シーンの第１の画像データを受信し、第１の画像データに基づいて、第１の視差マップおよび第１の確信度マップを出力するように構成された、第１のセンサシステムとを備え、車両制御システムは、第１のセンサシステムから、第１の視差マップと、第１の確信度マップとを受信し、第１の視差マップと、第１の確信度マップとから成る、ビデオストリームを出力するように構成される、自動車両支援システム。
（１）監視ありまたは監視なしの車両移動のための自動車両支援システムであって、システムは、コンピュータプロセッサと、コンピュータプロセッサに対して結合されたメモリとから成る、車両制御システムと、シーンの第１の画像データを受信し、第１の画像データに基づいて、第１の視差マップおよび第１の確信度マップを出力するように構成された、第１のセンサシステムとを備え、車両制御システムは、第１のセンサシステムから、第１の視差マップと、第１の確信度マップとを受信し、第１の視差マップと、第１の確信度マップとから成る、ビデオストリームを出力するように構成される、自動車両支援システム。
【0082】
（２）ビデオストリームにおいて、第１の確信度マップは、第１の視差マップの一部になるように、エンコードされる、構成（１）のシステム。
（３）第１の画像データは、複数のピクセルから成り、視差マップは、ピクセルの各々についての視差データから成り、確信度マップは、ピクセルの各々についての確信度データから成る、構成（１）または構成（２）のシステム。
（３）第１の画像データは、複数のピクセルから成り、視差マップは、ピクセルの各々についての視差データから成り、確信度マップは、ピクセルの各々についての確信度データから成る、構成（１）または構成（２）のシステム。
【0083】
（４）第１の画像データは、左右の２次元（２Ｄ）の第１の画像についてのデータから成り、第１のセンサシステムは、第１の画像データから、左右（２Ｄ）の平行化された第１の画像と、第１のコストボリュームマップとを生成するように構成され、第１のセンサシステムは、２Ｄの平行化された第１の画像と、第１の視差マップと、第１のコストボリュームマップとから、第１の確信度マップを生成するように構成される、構成（１）乃至（３）のうちのいずれか１つのシステム。
【0084】
（５）第１のセンサシステムは、セミグローバルマッチング（ＳＧＭ）アルゴリズムから決定される一意性の値、および第１の画像データに対するソーベル演算から決定される画像テクスチャ値の一方または両方に基づいて、第１の確信度マップを生成するように構成される、構成（１）乃至（４）のうちのいずれか１つのシステム。
【0085】
（６）シーンの少なくとも一部分の第２の画像データを受信し、第２の画像データに基づいて、第２の確信度マップを出力するように構成された、第２のセンサシステムをさらに備え、車両制御システムは、第２のセンサシステムから、第２の確信度マップを受信することと、ビデオストリームを、スーパフレームのシーケンスとして出力することであって、各スーパフレームは、第１の視差マップと、第１の確信度マップと、第２の確信度マップとに基づいた情報から成る、出力することとを行うように構成される、構成（１）乃至（５）のうちのいずれか１つのシステム。
【0086】
（７）車両制御システムは、ビデオストリームの情報に基づいて、車両の電子制御ユニット（ＥＣＵ）に対して、制御信号を出力するように構成される、構成（１）乃至（６）のうちのいずれか１つのシステム。
【0087】
（８）第１のセンサシステムは、第１の視差マップと、第１の確信度マップとを生成するために、第１の画像データを処理するように構成された、第１のセンサモジュールであり、第２のセンサシステムは、第２の確信度マップを生成するために、第２の画像データを処理するように構成された、第２のセンサモジュールであり、第１のセンサモジュールおよび第２のセンサモジュールは、メモリ内に記憶され、コンピュータプロセッサは、第１のセンサモジュールおよび第２のセンサモジュールを遂行するように構成される、構成（１）乃至（７）のうちのいずれか１つのシステム。
【0088】
（９）ビデオストリームは、第１の視差マップと、第１の確信度マップとから成る、少なくとも１つのスーパフレームと、第１の視差マップと、第２の確信度マップとから成る、少なくとも１つのスーパフレームとから成る、構成（１）乃至（８）のうちのいずれか１つのシステム。
【0089】
（１０）ビデオストリームは、第１の確信度マップの一部分と、第２の確信度マップの一部分とから成る、少なくとも１つのスーパフレームから成る、構成（１）乃至（９）のうちのいずれか１つのシステム。
【0090】
（１１）第１の画像データは、ステレオビジョンデータから成り、第２の画像データは、ライダデータから成る、構成（１）乃至（１０）のうちのいずれか１つのシステム。
（１２）シーンの少なくとも一部分の第３の画像データを受信し、第３の画像データに基づいて、第３の確信度マップを出力するように構成された、第３のセンサシステムをさらに備える、構成（１）乃至（１１）のうちのいずれか１つのシステム。
（１２）シーンの少なくとも一部分の第３の画像データを受信し、第３の画像データに基づいて、第３の確信度マップを出力するように構成された、第３のセンサシステムをさらに備える、構成（１）乃至（１１）のうちのいずれか１つのシステム。
【0091】
（１３）第３の画像データは、レーダデータ、または音響データから成る、構成（１）乃至（１２）のうちのいずれか１つのシステム。
（１４）ビデオストリームの各スーパフレームは、シーンの２次元（２Ｄ）画像と、シーンの深度マップと、シーンの確実性マップとから成る、構成（１）乃至（１３）のうちのいずれか１つのシステム。
（１４）ビデオストリームの各スーパフレームは、シーンの２次元（２Ｄ）画像と、シーンの深度マップと、シーンの確実性マップとから成る、構成（１）乃至（１３）のうちのいずれか１つのシステム。
【0092】
（１５）シーンの確実性マップは、第１の確信度マップ、もしくは第２の確信度マップ、または第１の確信度マップと第２の確信度マップとの組み合わせから成る、構成（１）乃至（１４）のうちのいずれか１つのシステム。
【0093】
（１６）シーンの深度マップは、シーンの２Ｄ画像に対応する画像データを用いて変調された、第１の視差マップから成り、シーンの確実性マップは、シーンの２Ｄ画像に対応する画像データを用いて変調された、第１の確信度マップ、もしくは第２の確信度マップ、または第１の確信度マップと第２の確信度マップとの組み合わせから成る、構成（１）乃至（１５）のうちのいずれか１つのシステム。
【0094】
（１７）シーンの２Ｄ画像のピクセル、シーンの深度マップのピクセル、およびシーンの確実性マップのピクセルは、時間的および空間的にマッチさせられる、構成（１）乃至（１６）のうちのいずれか１つのシステム。
【0095】
（１８）車両制御システムは、ビデオストリームのデータサイズを下げるために、第１の視差マップからの視差情報、ならびに第１の確信度マップおよび第２の確信度マップからの確信度情報をエンコードするように構成される、構成（１）乃至（１７）のうちのいずれか１つのシステム。
【0096】
（１９）車両上に搭載されるように構成された、カメラのペアをさらに備え、カメラは、第１のセンサシステムに対して、第１の画像データを提供するように構成される、構成（１）乃至（１８）のうちのいずれか１つのシステム。
【0097】
（２０）ビデオストリームは、２次元（２Ｄ）カラー画像から成り、各２Ｄカラー画像は、複数のピクセルから成り、各ピクセルのアルファチャンネル透明度は、ピクセルについての確信度値に比例する、構成（１）乃至（１９）のうちのいずれか１つのシステム。
【0098】
（２１）２Ｄカラー画像のカラーは、深度範囲を示す、構成（１）乃至（２０）のうちのいずれか１つのシステム。
非一時的コンピュータ可読記憶媒体は、コンピュータプロセッサによって遂行されたときに、コンピュータプロセッサに、本願明細書において説明される技術による、監視ありまたは監視なしの車両移動のための自動車両支援システムの方法を実行させるコードを記憶するように構成され得る。そのようなコンピュータ可読記憶媒体の例は、以下のような構成（２２）乃至（３４）の組み合わせを含む。
非一時的コンピュータ可読記憶媒体は、コンピュータプロセッサによって遂行されたときに、コンピュータプロセッサに、本願明細書において説明される技術による、監視ありまたは監視なしの車両移動のための自動車両支援システムの方法を実行させるコードを記憶するように構成され得る。そのようなコンピュータ可読記憶媒体の例は、以下のような構成（２２）乃至（３４）の組み合わせを含む。
【0099】
（２２）コンピュータプロセッサによって遂行されたときに、コンピュータプロセッサに、監視ありまたは監視なしの車両移動のための自動車両支援システムの方法を実行させるコードを記憶した、非一時的コンピュータ可読記憶媒体であって、方法は、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとを獲得する工程であって、第１の視差マップおよび第１の確信度マップは、シーンの第１の画像データに対応する、工程と、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとから成る、ビデオストリームを出力する工程とから成る、非一時的コンピュータ可読記憶媒体。
【0100】
（２３）ビデオストリームを出力する工程は、コンピュータプロセッサが、第１の視差マップの一部となるように、第１の確信度マップをエンコードする工程から成る、構成（２２）のコンピュータ可読記憶媒体。
【0101】
（２４）第１の画像データは、複数のピクセルから成り、視差マップは、ピクセルの各々についての視差データから成り、確信度マップは、ピクセルの各々についての確信度データから成る、構成（２２）または構成（２３）のコンピュータ可読記憶媒体。
【0102】
（２５）方法は、コンピュータプロセッサが、シーンの少なくとも一部分の第２の画像データに対応する第２の確信度マップを獲得する工程と、コンピュータプロセッサが、ビデオストリームを、スーパフレームのシーケンスとして出力する工程であって、各スーパフレームは、第１の視差マップと、第１の確信度マップと、第２の確信度マップとに基づいた情報から成る、工程とからさらに成る、構成（２２）乃至（２４）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0103】
（２６）方法は、コンピュータプロセッサが、ビデオストリームの情報に基づいて、車両の電子制御ユニット（ＥＣＵ）に対して、制御信号を出力する工程からさらに成る、構成（２２）乃至（２５）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0104】
（２７）方法は、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとを獲得するために、第１の画像データを処理する工程と、コンピュータプロセッサが、第２の確信度マップを獲得するために、第２の画像データを処理する工程とからさらに成る、構成（２２）乃至（２６）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0105】
（２８）ビデオストリームを出力する工程は、コンピュータプロセッサが、第１の視差マップと、第１の確信度マップとから成るように、少なくとも１つのスーパフレームを準備する工程と、コンピュータプロセッサが、第１の視差マップと、第２の確信度マップとから成るように、少なくとも１つのスーパフレームを準備する工程とから成る、構成（２２）乃至（２７）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0106】
（２９）ビデオストリームを出力する工程は、コンピュータプロセッサが、第１の確信度マップの一部分と、第２の確信度マップの一部分とから成る、少なくとも１つのスーパフレームを準備する工程から成る、構成（２２）乃至（２８）のうちのいずれか１つのコンピュータ可読記録媒体。
【0107】
（３０）第１の画像データは、ステレオビジョンデータから成り、第２の画像データは、ライダデータ、またはレーダデータ、または音響データから成る、構成（２２）乃至（２９）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0108】
（３１）ビデオストリームを出力する工程は、コンピュータプロセッサが、シーンの２次元（２Ｄ）画像と、シーンの深度マップと、シーンの確実性マップとから成るように、ビデオストリームの各スーパフレームを準備する工程から成る、構成（２２）乃至（３０）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0109】
（３２）コンピュータプロセッサによって、各スーパフレームを準備する工程は、シーンの２Ｄ画像のピクセルと、シーンの深度マップのピクセルと、シーンの確実性マップのピクセルとを、時間的および空間的にマッチさせる工程から成る、構成（２２）乃至（３１）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0110】
（３３）ビデオストリームを出力する工程は、コンピュータプロセッサが、ビデオストリームのデータサイズを下げるために、第１の視差マップからの視差情報、ならびに第１の確信度マップおよび第２の確信度マップからの確信度情報をエンコードする工程から成る、構成（２２）乃至（３２）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0111】
（３４）ビデオストリームを出力する工程は、各２Ｄカラー画像が、複数のピクセルから成り、各ピクセルのアルファチャンネル透明度が、ピクセルについての確信度値に比例し、２Ｄカラー画像のカラーが、深度範囲を示すように、２次元（２Ｄ）カラー画像を準備する工程から成る、構成（２２）乃至（３３）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0112】
本願明細書において説明される技術による、ステレオビジョンシステムは、異なる構成で具現化され得る。例となる構成は、以下のような構成（３５）乃至（４６）の組み合わせを含む。
【0113】
（３５）画像のペアのシーケンスをキャプチャするように構成された、ステレオカメラシステムであって、画像の各ペアは、同時にキャプチャされた、第１の画像と、第２の画像とから成る、ステレオカメラシステムと、コンピュータプロセッサであって、ステレオカメラシステムから、画像データのストリームを受信することであって、画像データは、画像のペアのシーケンスに対応する、受信することと、画像のペアの各々について、マッチさせられたピクセルの２次元（２Ｄ）ピクセルマップを生成するために、第１の画像と、第２の画像とを平行化することと、ピクセルマップの各ピクセルについて、深度値を決定することと、ピクセルマップの各ピクセルについて、深度値についての確信度値を決定することと、確信度値のうちの少なくとも１つが、画像異常を示すとき、制御信号を発行することとを行うようにプログラムされた、コンピュータプロセッサとを備える、ステレオビジョンシステム。
【0114】
（３６）画像異常は、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応する、構成（３５）のシステム。
（３７）画像異常は、シーケンスの画像の２つ以上の連続するペアについて、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応する、構成（３５）または構成（３６）のシステム。
（３７）画像異常は、シーケンスの画像の２つ以上の連続するペアについて、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応する、構成（３５）または構成（３６）のシステム。
【0115】
（３８）画像異常は、確信度マップの隣接する領域の複数のピクセルから成る、構成（３５）乃至（３７）のうちのいずれか１つのシステム。
（３９）制御信号は、可聴音を引き起こすように構成される、構成（３５）乃至（３８）のうちのいずれか１つのシステム。
（３９）制御信号は、可聴音を引き起こすように構成される、構成（３５）乃至（３８）のうちのいずれか１つのシステム。
【0116】
（４０）可聴音は、事前記録されたメッセージである、構成（３５）乃至（３９）のうちのいずれか１つのシステム。
（４１）制御信号は、車両のエンジン制御モジュールに対して発行される、構成（３５）乃至（４０）のうちのいずれか１つのシステム。
（４１）制御信号は、車両のエンジン制御モジュールに対して発行される、構成（３５）乃至（４０）のうちのいずれか１つのシステム。
【0117】
（４２）ピクセルマップの各ピクセルについて、確信度値は、ピクセルにおけるエッジの有無、ピクセルの照度レベル、ならびにピクセルマップがそれから生成された第１の画像および第２の画像のテクスチャ値に基づいて決定される、構成（３５）乃至（４１）のうちのいずれか１つのシステム。
【0118】
（４３）コンピュータプロセッサは、画像のペアのシーケンスに対応する、スーパフレームのシーケンスを出力するようにプログラムされ、スーパフレームの各々は、２Ｄ画像と、２Ｄ画像に対応する確信度マップとから成る、構成（３５）乃至（４２）のうちのいずれか１つのシステム。
【0119】
（４４）２Ｄ画像は、第１の画像、または第２の画像である、構成（３５）乃至（４３）のうちのいずれか１つのシステム。
（４５）コンピュータプロセッサは、スーパフレームのシーケンスを、２Ｄ画像と、確信度マップに対応する可視的な確信度インジケータとを示すことをディスプレイに行わせる、表示信号として出力するようにプログラムされる、構成（３５）乃至（４４）のうちのいずれか１つのシステム。
（４５）コンピュータプロセッサは、スーパフレームのシーケンスを、２Ｄ画像と、確信度マップに対応する可視的な確信度インジケータとを示すことをディスプレイに行わせる、表示信号として出力するようにプログラムされる、構成（３５）乃至（４４）のうちのいずれか１つのシステム。
【0120】
（４６）表示信号は、確信度インジケータを、２Ｄ画像の各ピクセルの透明度として、ピクセルごとに、表示させる、構成（３５）乃至（４５）のうちのいずれか１つのシステム。
【0121】
非一時的コンピュータ可読記憶媒体は、コンピュータプロセッサによって遂行されたときに、コンピュータプロセッサに、本願明細書において説明される技術による、車両支援システムの方法を実行させるコードを記憶するように構成され得る。そのようなコンピュータ可読記憶媒体の例は、以下のような構成（４７）乃至（５９）の組み合わせを含む。
【0122】
（４７）コンピュータプロセッサによって遂行されたときに、コンピュータプロセッサに、ステレオビジョンシステムの方法を実行させるコードを記憶した、非一時的コンピュータ可読記憶媒体であって、方法は、コンピュータプロセッサが、ステレオカメラシステムから、画像データのストリームを受信する工程であって、画像データは、画像のペアのシーケンスに対応し、画像の各ペアは、同時にキャプチャされた、第１の画像と、第２の画像とから成る、工程と、画像のペアの各々について、コンピュータプロセッサが、マッチさせられたピクセルの２次元（２Ｄ）ピクセルマップを生成するために、第１の画像と、第２の画像とを平行化する工程と、ピクセルマップの各ピクセルについて、深度値を決定する工程と、ピクセルマップの各ピクセルについて、深度値についての確信度値を決定する工程と、確信度マップのうちの少なくとも１つが、画像異常を示すとき、コンピュータプロセッサが、制御信号を発行する工程とから成る、非一時的コンピュータ可読記憶媒体。
【0123】
（４８）画像異常は、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応する、構成（４７）のコンピュータ可読記憶媒体。
【0124】
（４９）画像異常は、シーケンスの画像の２つ以上の連続するペアについて、事前決定された閾値を下回る確信度値を有する、確信度マップの一部分の１つまたは複数のピクセルに対応する、構成（４７）または構成（４８）のコンピュータ可読記憶媒体。
【0125】
（５０）画像異常は、確信度マップの隣接する領域の複数のピクセルから成る、構成（４７）乃至（４９）のうちのいずれか１つのコンピュータ可読記憶媒体。
（５１）制御信号は、可聴音を引き起こすように構成される、構成（４７）乃至（５０）のうちのいずれか１つのコンピュータ可読記憶媒体。
（５１）制御信号は、可聴音を引き起こすように構成される、構成（４７）乃至（５０）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0126】
（５２）可聴音は、事前記録されたメッセージである、構成（４７）乃至（５１）のうちのいずれか１つのコンピュータ可読記憶媒体。
（５３）制御信号は、車両のエンジン制御モジュールに対して発行される、構成（４７）乃至（５２）のうちのいずれか１つのコンピュータ可読記憶媒体。
（５３）制御信号は、車両のエンジン制御モジュールに対して発行される、構成（４７）乃至（５２）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0127】
（５４）ピクセルマップの各ピクセルについて、確信度値は、ピクセルにおけるエッジの有無、ピクセルの照度レベル、ならびにピクセルマップがそれから生成された第１の画像および第２の画像のテクスチャ値に基づいて決定される、構成（４７）乃至（５３）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0128】
（５５）方法は、コンピュータプロセッサが、画像のペアのシーケンスに対応する、スーパフレームのシーケンスを出力する工程であって、スーパフレームの各々は、２Ｄ画像と、２Ｄ画像に対応する視差マップと、２Ｄ画像に対応する確信度マップとから成る、工程からさらに成る、構成（４７）乃至（５４）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0129】
（５６）２Ｄ画像は、第１の画像、または第２の画像である、構成（４７）乃至（５５）のうちのいずれか１つのコンピュータ可読記憶媒体。
（５７）スーパフレームのシーケンスを出力する工程は、２Ｄ画像と、確信度マップに対応する可視的な確信度インジケータとを示すことをディスプレイに行わせる、表示信号を出力する工程から成る、構成（４７）乃至（５６）のうちのいずれか１つのコンピュータ可読記憶媒体。
（５７）スーパフレームのシーケンスを出力する工程は、２Ｄ画像と、確信度マップに対応する可視的な確信度インジケータとを示すことをディスプレイに行わせる、表示信号を出力する工程から成る、構成（４７）乃至（５６）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0130】
（５８）表示信号は、確信度インジケータを、２Ｄ画像の各ピクセルの透明度として、ピクセルごとに、表示させる、構成（４７）乃至（５７）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0131】
（５９）スーパフレームの各々は、２Ｄ画像と、確信度マップと、２Ｄ画像に対応する視差マップとから成る、構成（４７）乃至（５８）のうちのいずれか１つのコンピュータ可読記憶媒体。
【0132】
結び
様々な改変、変更、および改良が、上で議論された構造、構成、および方法に対して行われることができ、本願明細書において開示された本発明の主旨および範囲内にあることが意図されていることが理解されるべきである。さらに、本発明の利点が示されたが、本発明のあらゆる実施形態が、あらゆる説明された利点を含むわけではないことが認識されるべきである。いくつかの実施形態は、本願明細書において有利であるとして説明されたいずれかの特徴を実施しないことがある。したがって、上述の説明および添付の図面は、例としてのものにすぎない。
様々な改変、変更、および改良が、上で議論された構造、構成、および方法に対して行われることができ、本願明細書において開示された本発明の主旨および範囲内にあることが意図されていることが理解されるべきである。さらに、本発明の利点が示されたが、本発明のあらゆる実施形態が、あらゆる説明された利点を含むわけではないことが認識されるべきである。いくつかの実施形態は、本願明細書において有利であるとして説明されたいずれかの特徴を実施しないことがある。したがって、上述の説明および添付の図面は、例としてのものにすぎない。
【0133】
本技術のいくつかの態様は、１つまたは複数の方法として具現化され得、本技術の方法の一部として実行される行為は、任意の適切なやり方で、順序付けられ得ることが理解されるべきである。したがって、様々な実施形態において、順次的な行為として示され、および／または説明されるにもかかわらず、いくつかの行為を同時に実行することを含み得る、示されたのと、および／または説明されたのと異なる順序で行為が実行される実施形態が構築され得る。
【0134】
本発明の様々な態様は、単独で、組み合わせて、または上で説明された実施形態において具体的には議論されなかった様々な配置で使用され得、したがって、それの適用の際、上述の説明において規定された、または図面において例示された、構成要素の詳細および配置に限定されない。例えば、１つの実施形態において説明された態様は、他の実施形態において説明された態様と、任意の方式で、組み合わされ得る。
【0135】
要素を修飾するための、説明および特許請求の範囲における、「第１の」、「第２の」、「第３の」などの序数用語の使用は、それ自体では、１つの要素が別の要素よりも上位である、いかなる優先順位、優先権、もしくは順序も、または方法の行為が実行される時間的順序を含意せず、ある名前を有する１つの要素または行為を、（序数用語を使用しなければ）同じ名前を有する別の要素または行為から区別して、要素または行為を区別するためのラベルとして使用されるにすぎない。
【0136】
本願明細書において定義され、使用されるような、すべての定義は、辞書の定義、本願明細書に援用される文書における定義、および／または定義された用語の通常の意味よりも優先されると理解されるべきである。
【0137】
本願明細書および特許請求の範囲において使用される場合、不定冠詞「ａ」および「ａｎ」は、明確に反対のことを示していない限り、「少なくとも１つ」を意味すると理解されるべきである。
【0138】
本願明細書および特許請求の範囲において使用される場合、１つまたは複数の要素のリストへの言及における、「少なくとも１つ」という語句は、要素のリスト内の要素のうちのいずれか１つまたは複数から選択された、少なくとも１つの要素を意味するが、必ずしも、要素のリスト内に具体的に列挙された、ありとあらゆる要素の少なくとも１つを含むとは限らず、要素のリスト内の要素の任意の組み合わせを除外しないと理解されるべきである。この定義は、「少なくとも１つ」という語句が言及する、要素のリスト内において具体的に識別された要素以外の要素が、具体的に識別されたそれらの要素に関係があるか、それとも関係がないかにかかわらず、任意選択で存在し得ることも許容する。
【0139】
本願明細書および特許請求の範囲において使用される場合、２つの値（例えば、距離、幅など）への言及における、「等しい」または「同じ」という語句は、２つの値が、製造公差内で同じであることを意味する。したがって、等しい、または同じである、２つの値は、２つの値が、±５％だけ互いに異なることを意味し得る。
【0140】
本願明細書および特許請求の範囲で使用される場合の「および／または」という語句は、そのように等位接続された要素の「どちらかまたは両方」、すなわち、いくつかのケースにおいては連言的に存在し、他のケースにおいては選言的に存在する要素を意味すると理解されるべきである。「および／または」を用いて列挙された多数の要素は、同じやり方で、すなわち、そのように等位接続された要素のうちの「１つまたは複数」と解釈されるべきである。「および／または」節によって具体的に識別された要素以外の他の要素が、具体的に識別されたそれらの要素に関係があるか、それとも関係がないかにかかわらず、任意選択で存在し得る。したがって、非限定的な例として、「Ａおよび／またはＢ」に対する言及は、「備える」などのオープンエンド語と併せて使用されるとき、１つの実施形態においては、Ａだけに（任意選択でＢ以外の要素を含む）、別の実施形態においては、Ｂだけに（任意選択でＡ以外の要素を含む）、また別の実施形態においては、ＡとＢの両方に（任意選択で他の要素を含む）言及するなどすることができる。
【0141】
本願明細書および特許請求の範囲において使用される場合、「または」は、上で定義された「および／または」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を分離するとき、「または」または「および／または」は、包含的であると、すなわち、数々の要素または要素のリストのうちの、２つ以上も含む、少なくとも１つ、および任意選択で、追加の列挙されていない項目を含むと解釈されるものとする。「ただ１つの」、もしくは「正確に１つの」など、明確に反対のことを示す用語だけが、または特許請求の範囲において使用されたときの「から成る」が、数々の要素または要素のリストのうちの正確に１つを含むことに言及している。一般に、本願明細書において使用される場合の「または」という用語は、「どちらか」、「１つの」、「ただ１つの」、または「正確に１つの」などの、排他性の用語によって先行されるときだけ、排他的選択肢（すなわち、「一方または他方であって、両方ではない」）を示すと解釈されるものとする。特許請求の範囲において使用されるときの「から原則的に成る」は、特許法の分野で使用されるような、それの通常の意味を有するものとする。
【0142】
また、本願明細書において使用される言葉遣いおよび専門用語は、説明の目的のためのものであり、限定的なものと見なされるべきではない。本願明細書における、「含む」、「備える」、「から成る」、「有する」、「包含する」、および「伴う」などの用語、およびそれらの変形の使用は、その後に列挙される項目、およびそれらの均等物、ならびに追加の項目を包含することを意味する。
【0143】
本願明細書において使用される場合の「近似的に」および「約」という用語は、いくつかの実施形態においては、目標値の±２０％以内、いくつかの実施形態においては、目標値の±１０％以内、いくつかの実施形態においては、目標値の±５％以内、およびいくつかの実施形態においては、目標値の±２％以内を意味すると解釈され得る。「近似的に」および「約」という用語は、目標値に等しくてよい。
【0144】
本願明細書において使用される場合の「実質的に」という用語は、いくつかの実施形態においては、目標値の９５％以内、いくつかの実施形態においては、目標値の９８％以内、いくつかの実施形態においては、目標値の９９％以内、およびいくつかの実施形態においては、目標値の９９．５％以内を意味すると解釈され得る。いくつかの実施形態においては、「実質的に」という用語は、目標値の１００％に等しくてよい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8A】
【図8B】
【図9A】
【図9B】