特許 7576181 可視光カメラ情報と熱カメラ情報とを組合せて処理を行うシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】可視光カメラ情報と熱カメラ情報とを組合せて処理を行うシステム及び方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241023BHJP

   B60W 30/08 20120101ALI20241023BHJP

   B60W 40/02 20060101ALI20241023BHJP

【ＦＩ】

G08G1/16 C

B60W30/08

B60W40/02

【請求項の数】 20

(21)【出願番号】P 2023542588

(86)(22)【出願日】2021-09-17

(65)【公表番号】

(43)【公表日】2024-01-26

(86)【国際出願番号】 JP2021034258

(87)【国際公開番号】W WO2022158039

(87)【国際公開日】2022-07-28

【審査請求日】2023-07-12

(31)【優先権主張番号】17/153,949

(32)【優先日】2021-01-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】スブラタ クマル クンドゥ

(72)【発明者】

【氏名】ナビ－ン クマール バンガロール ラマイア

【審査官】白石 剛史

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１９７０２２（ＵＳ，Ａ１）

【文献】特開２０１７－６０１１９（ＪＰ，Ａ）

【文献】特開２００８－２３４１７８（ＪＰ，Ａ）

【文献】特開２００１－１０１５９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ３０／０８

Ｂ６０Ｗ ４０／０２

(57)【特許請求の範囲】

【請求項1】

システムであって、
少なくとも１つの第１の可視光画像と第１の熱画像とを受信することと、
前記少なくとも１つの第１の可視光画像から、前記少なくとも１つの第１の可視光画像におけるエッジ領域を識別するエッジ画像を生成することと、
前記エッジ画像からの情報に少なくとも部分的に基づいて、車線マーカ又は道路エッジ領域の少なくとも一方を決定することと、
前記車線マーカ又は前記道路エッジ領域の前記少なくとも一方に基づいて、前記第１の熱画像内の１つ又は複数の第１の関心領域を決定することと、
前記第１の熱画像内の前記１つ又は複数の第１の関心領域に基づいて熱センサのゲインを調整することと、
１つ又は複数の第２の可視光画像と第２の熱画像とを受信することと、
前記第２の熱画像内の１つ又は複数の第２の関心領域を決定することと、
前記１つ又は複数の第２の関心領域を前記１つ又は複数の第２の可視光画像にマッピングすることと、
前記マッピングに基づいて、前記１つ又は複数の第２の可視光画像から、前記１つ又は複数の第２の関心領域に対応する１つ又は複数の密な視差領域を、前記１つ又は複数の第２の関心領域の外側の領域に対応する１つ又は複数の疎な視差領域と組み合わせた視差マップ画像を生成することとを含む動作を実行する実行可能命令によって構成された１つ又は複数のプロセッサを備える、システム。

【請求項2】

少なくとも２つの第１の可視光画像が存在し、前記動作が、
前記第１の可視光画像から第１の視差マップ画像を決定することと、
第１の視差マップ画像からの情報をエッジ画像からの情報と組み合わせて視差エッジ画像を生成することと、
前記視差エッジ画像に基づいて、前記車線マーカ及び前記道路エッジ領域の少なくとも一方を決定することとをさらに含む、請求項１に記載のシステム。

【請求項3】

前記動作が、前記視差エッジ画像から前記第１の熱画像への軸変換を実行することをさらに含む、請求項２に記載のシステム。

【請求項4】

前記少なくとも２つの第１の可視光画像が、ステレオ可視光カメラから受信した左画像と右画像とを含む、請求項２に記載のシステム。

【請求項5】

前記少なくとも２つの第１の可視光画像が、モノラル可視光カメラから受信した連続した画像を含む、請求項１に記載のシステム。

【請求項6】

前記第２の熱画像内の前記１つ又は複数の第２の関心領域を決定する前記動作が、
前記第２の熱画像の画素に閾値を適用することと、
前記閾値を超える画素に対してクラスタリングを実行して、前記１つ又は複数の第２の関心領域を決定することとをさらに含む、請求項１に記載のシステム。

【請求項7】

前記動作が、
前記視差マップ画像内の１つ又は複数の特徴の認識を実行して認識情報を決定することと、
前記認識情報に基づいて少なくとも１つの制御信号を送信することであって、前記少なくとも１つの制御信号が、
車両を制御して前記車両に加速又は減速させる命令、
前記車両を制御して前記車両に前記車両の車輪を操舵させる命令、又は
警告を提示させる命令のうちの少なくとも１つを含むこととをさらに含む、請求項１に記載のシステム。

【請求項8】

方法であって、
１つ又は複数のプロセッサによって、少なくとも１つの第１の可視光画像と第１の熱画像とを受信することと、
前記少なくとも１つの第１の可視光画像から、前記少なくとも１つの第１の可視光画像におけるエッジ領域を識別するエッジ画像を生成することと、
前記エッジ画像からの情報に少なくとも部分的に基づいて、車線マーカ又は道路エッジ領域の少なくとも一方を決定することと、
前記車線マーカ又は前記道路エッジ領域の前記少なくとも一方に基づいて、前記第１の熱画像内の１つ又は複数の第１の関心領域を決定することと、
前記第１の熱画像内の前記１つ又は複数の第１の関心領域に基づいて熱センサのゲインを調整することとを含む、方法。

【請求項9】

１つ又は複数の第２の可視光画像と第２の熱画像とを受信することと、
前記第２の熱画像内の１つ又は複数の第２の関心領域を決定することと、
前記１つ又は複数の第２の関心領域を前記１つ又は複数の第２の可視光画像にマッピングすることと、
前記マッピングに基づいて、前記１つ又は複数の第２の可視光画像から、前記１つ又は複数の第２の関心領域に対応する１つ又は複数の密な視差領域を、前記１つ又は複数の第２の関心領域の外側の領域に対応する１つ又は複数の疎な視差領域と組み合わせた視差マップ画像を生成することとをさらに含む、請求項８に記載の方法。

【請求項10】

前記視差マップ画像内の１つ又は複数の特徴の認識を実行して認識情報を決定することと、
前記認識情報に基づいて少なくとも１つの制御信号を送信することであって、前記少なくとも１つの制御信号が、
車両を制御して前記車両に加速又は減速させる命令、
前記車両を制御して前記車両に前記車両の車輪を操舵させる命令、又は
警告を提示させる命令のうちの少なくとも１つを含むこととをさらに含む、請求項９に記載の方法。

【請求項11】

ゲインを調整するために適用するゲイン重みを決定するための決定木をナビゲートすることに少なくとも部分的に基づいて前記熱センサの前記ゲインを調整することをさらに含み、前記決定木が複数の組合せ条件に基づいて決定された複数のゲイン重みを含む、請求項８に記載の方法。

【請求項12】

少なくとも２つの第１の可視光画像が存在し、前記方法が、
前記第１の可視光画像から第１の視差マップ画像を決定することと、
第１の視差マップ画像からの情報をエッジ画像からの情報と組み合わせて視差エッジ画像を生成することと、
前記視差エッジ画像に基づいて、前記車線マーカ及び前記道路エッジ領域の少なくとも一方を決定することとをさらに含む、請求項８に記載の方法。

【請求項13】

前記視差エッジ画像から前記第１の熱画像への軸変換を実行することをさらに含む、請求項１２に記載の方法。

【請求項14】

前記少なくとも２つの第１の可視光画像が、ステレオ可視光カメラから受信した左画像と右画像とを含む、請求項１２に記載の方法。

【請求項15】

１つ又は複数の可視光画像と熱画像とを受信することと、
前記熱画像内の１つ又は複数の関心領域を決定することと、
前記１つ又は複数の関心領域を前記１つ又は複数の可視光画像にマッピングすることと、
前記マッピングに基づいて、前記１つ又は複数の可視光画像から、前記１つ又は複数の関心領域に対応する１つ又は複数の密な視差領域を、前記１つ又は複数の関心領域の外側の領域に対応する１つ又は複数の疎な視差領域と組み合わせた視差マップ画像を生成することとを含む
動作を実行するための実行可能な命令によって構成された
１つ又は複数のプロセッサを備える、システム。

【請求項16】

前記動作が、少なくとも１つの車両制御機能を実行するために前記視差マップ画像内の１つ又は複数の特徴の認識を実行することをさらに含む、請求項１５に記載のシステム。

【請求項17】

前記動作が、前記１つ又は複数の可視光画像と前記熱画像を受信する前に、
１つ又は複数のプロセッサによって、少なくとも１つの事前の可視光画像と事前の熱画像とを受信することと、
前記少なくとも１つの事前の可視光画像から、前記少なくとも１つの事前の可視光画像におけるエッジ領域を識別するエッジ画像を生成することと、
前記エッジ画像からの情報に少なくとも部分的に基づいて、車線マーカ又は道路エッジ領域の少なくとも一方を決定することと、
前記車線マーカ又は前記道路エッジ領域の前記少なくとも一方に基づいて、前記事前の熱画像内の１つ又は複数の関心領域を決定することと、
前記事前の熱画像内の前記１つ又は複数の関心領域に基づいて熱センサのゲインを調整することとをさらに含む、請求項１５に記載の方法。

【請求項18】

前記動作が、前記１つ又は複数の可視光画像を最初にダウンサンプリングすることによって前記１つ又は複数の疎な視差領域を決定することをさらに含む、請求項１５に記載のシステム。

【請求項19】

受信した第２の熱画像内の前記１つ又は複数の第２の関心領域を決定する前記動作が、
前記第２の熱画像の画素に閾値を適用することと、
前記閾値を超える画素に対してクラスタリングを実行して、前記１つ又は複数の第２の関心領域を決定することとをさらに含む、請求項１５に記載のシステム。

【請求項20】

受信した第２の熱画像内の前記１つ又は複数の第２の関心領域を決定する前記動作が、訓練データに基づいて前記１つ又は複数の第２の関心領域を識別するように訓練された機械学習モデルに前記第２の熱画像を入力することをさらに含む、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、安全性の向上、自動ナビゲーションなどのために車両制御を自動化又は強化するシステム及び方法に関する。

【背景技術】

【0002】

先進運転者支援システム（ＡＤＡＳ）、並びに半自律走行車システム、自動運転システム、又は他の自動運転（ＡＤ）システムは、安全性の向上、自動化ナビゲーションなどのために車両制御を自動化又は強化するシステムである。これらのシステムは、通常、道路を認識し、他の車両、障害物、歩行者などを認識して回避するための複数の種類のセンサを使用する。しかし、様々な異なる環境、交通、及び道路条件において限られた処理能力で複数のセンサのセンサ読み取り値をリアルタイムで組み合わせてそれらに応答することは困難な場合がある。

【0003】

特許文献１には、車両用障害物検出装置について記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０００－３１８５１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

解決すべき問題は、様々な異なる環境、交通、及び道路条件においてリアルタイムの処理能力で複数のセンサのセンサ読み取り値を組み合わせてそれらに応答することである。

【課題を解決するための手段】

【0006】

いくつかの実施形態では、１つ又は複数のプロセッサは、少なくとも１つの第１の可視光画像及び第１の熱画像を受信してもよい。さらに、プロセッサは、少なくとも１つの第１の可視光画像から、少なくとも１つの第１の可視光画像内のエッジ領域を識別するエッジ画像を生成してもよい。車線マーカ又は道路エッジ領域の少なくとも一方は、エッジ画像からの情報に少なくとも部分的に基づいて決定されてもよい。また、第１の熱画像内の１つ又は複数の第１の関心領域は、車線マーカ又は道路エッジ領域の少なくとも一方に基づいて決定されてもよい。さらに、熱センサのゲインは、第１の熱画像内の１つ又は複数の第１の関心領域に基づいて調整されてもよい。

【0007】

また、いくつかの実施形態では、１つ又は複数のプロセッサは、１つ又は複数の可視光画像及び熱画像を受信してもよい。１つ又は複数の関心領域が熱画像内で決定されてもよく、１つ又は複数の関心領域が１つ又は複数の可視光画像にマッピングされてもよい。プロセッサは、１つ又は複数の関心領域に対応する１つ又は複数の密な視差領域を、１つ又は複数の関心領域の外側の領域に対応する１つ又は複数の疎な視差領域と組み合わせる視差マップ画像を、マッピングに基づいて、１つ又は複数の可視光画像から生成してもよい。

【発明の効果】

【0008】

本明細書のいくつかの実施形態は、ＡＤ／ＡＤＡＳアプリケーション向けなどのすべての種類の気象条件に対する障害物及び道路特徴の検出及び認識を向上させる。例えば、ステレオ又はモノラルＶＬカメラのみ、又は熱カメラのみなどの単一のセンサを使用して、すべての気象及び日照条件について障害物、路面、標識、信号機などを検出及び認識することは困難なことがある。したがって、本明細書のいくつかの例は、ＶＬカメラ画像と熱カメラ画像との効率的な融合を提供して、多数の気象及び道路条件に対する高精度の検出及び認識能力を実現する。

【0009】

詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似又は同一のアイテム又は特徴を示す。

【図面の簡単な説明】

【0010】

【図1】いくつかの実施形態による、車両の周囲の認識を実行するように構成された例示的な認識システムを示す図である。

【図2】いくつかの実施形態による、車両に含まれ得る認識システムの例示的なアーキテクチャを示す図である。

【図3】いくつかの実施形態による、車両に含まれ得る認識及び車両制御システム３００の例示的なアーキテクチャを示す図である。

【図4】いくつかの実施形態による、カメラシステムによって実行される画像キャプチャの一例を示す図である。

【図5】いくつかの実施形態による、ステレオカメラ画像を使用した動的ゲイン調整のための例示的なプロセスを示すフロー図である。

【図6】いくつかの実施形態による、モノラルカメラ画像を使用した動的ゲイン調整のための例示的なプロセスを示すフロー図である。

【図7】いくつかの実施形態による、視差エッジ画像を生成するための例示的なプロセスを示すフロー図である。

【図8】いくつかの実施形態による、熱カメラに対する可視光カメラ、又はその逆の相対姿勢を決定するための例示的なプロセスを示す図である。

【図9】いくつかの実施形態による、ゲイン重みを選択するための例示的なルックアップテーブル及び決定木を示す図である。

【図10】いくつかの実施形態による、動的較正調整前後の例示的な熱画像を示す図である。

【図11】いくつかの実施形態による、疎な視差領域と密な視差領域とを組み合わせる視差マップを生成するための例示的なプロセスを示すフロー図である。

【図12】いくつかの実施形態による、高優先度領域及び低優先度領域を決定するための例示的な画像を示す図である。

【図13】いくつかの実施形態による、ステレオ画像内の高優先度領域を決定するためのブロックマッチングの一例を示す図である。

【図14】いくつかの実施形態によって決定された、疎な視差領域及び密な視差領域が組み合わされた例示的な視差マップ画像を示す図である。

【発明を実施するための形態】

【0011】

本明細書のいくつかの実施形態は、車道認識、障害物認識、障害物回避、又は他の認識及びナビゲーション可能機能などの認識を実行するために、１つ又は複数の可視光（ＶＬ）カメラと１つ又は複数の熱カメラとから受信した情報を組み合わせることができる技術及び構成に関する。例えば、本明細書の実施形態は、熱カメラ及び１つ又は複数のＶＬカメラから受信した情報に少なくとも部分的に基づいて視差マップを生成してもよい。また、本明細書の実施形態は、本明細書の認識結果の精度を高めるために熱カメラゲインの動的調整を実行してもよい。

【0012】

一例として、本明細書に記載の技術は、熱カメラ情報に少なくとも部分的に基づいて、障害物回避及び他のナビゲーション機能に使用するために、疎な視差マップ及び密な視差マップの領域をインテリジェントに計算してもよい。また、いくつかの例は、ＶＬカメラの画像から決定されたエッジ視差情報に基づいて熱カメラゲイン値の動的調整を実行してもよい。例えば、本明細書のエッジ視差情報は、モノラルＶＬカメラ又はステレオＶＬカメラなどのＶＬカメラから受信した画像から抽出してもよい。

【0013】

本明細書のいくつかの実施形態は、ＡＤ／ＡＤＡＳアプリケーション向けなどのすべての種類の気象条件に対する障害物及び道路特徴の検出及び認識を向上させる。例えば、ステレオ又はモノラルＶＬカメラのみ、又は熱カメラのみなどの単一のセンサを使用して、すべての気象及び日照条件について障害物、路面、標識、信号機などを検出及び認識することは困難なことがある。したがって、本明細書のいくつかの例は、ＶＬカメラ画像と熱カメラ画像との効率的な融合を提供して、多数の気象及び道路条件に対する高精度の検出及び認識能力を実現する。

【0014】

一例として、本明細書のシステムは、車両に取り付けられた熱カメラと少なくとも１つのＶＬカメラとを含んでもよい。熱カメラとＶＬカメラの両方のそれぞれの視野（ＦＯＶ）は、車両の前方の道路、並びに道路エッジ及び道路脇の物体を撮像するのに十分な広さであってもよい。熱カメラとＶＬカメラのＦＯＶがほぼ同じである場合、計算は、熱カメラ及びＶＬカメラのＦＯＶが異なる本明細書の他の例と比較して幾分単純化され得る。例えば、ＦＯＶが異なる場合、熱カメラ及び可視光カメラから受信した画像を融合するときに追加の較正動作を使用してＦＯＶを一致させてもよい。さらに、本明細書の実施形態は、車両の前方の車道を撮像することに限定されず、車両の周囲の環境全体の認識を実行するためなど、車両の側方又は後方を撮像するために使用されてもよい。

【0015】

様々な異なる種類の気象条件に対して障害物の信頼できる認識を実行することは、ＡＤＡＳ／ＡＤシステムにとって困難な問題であり得る。したがって、本明細書の実施形態は、多種多様な状態に対する正確な検出率及び認識率を可能にするための、ＶＬカメラ画像及び熱カメラ画像の効率的な融合技術を含む。例えば、本明細書のいくつかの例は、融合されたカメラデータを使用して障害物の認識を実行するために視差マップの品質及び効率を向上させ、熱カメラセンサゲインの自動調整を提供する生データ融合技術を使用してもよい。これにより、本明細書のシステムは、従来の解決策と比較して向上した認識性能を提供することが可能になる。また、本明細書の実施形態は、比較的長い距離で障害物を検出するためなど、道路シーンの包括的な評価を提供する助けとなり得る。場合によっては人工知能を用いることで、ＶＬカメラ情報及び熱カメラ情報を使用した高精度の認識性能を実現することができる。

【0016】

説明の目的のために、いくつかの例示的な実施形態は、車両周囲を検出して認識するために可視光画像及び熱画像を撮像して融合する環境において説明される。しかしながら、本明細書の実施形態は、提供される特定の例に限定されず、本明細書の開示に照らして当業者には明らかなように、他の種類のカメラ、他の種類の熱検知装置、他の種類の車両、他の種類の道路及び障害物、他の気象条件などに拡張されてもよい。

【0017】

図１は、いくつかの実施形態による、車両１０２の周囲の認識を実行するように構成された例示的な認識システム１００を示す。この例では、車両１０２が、車道又は他の走行経路１０４を矢印１０６によって示される方向に走行していると仮定する。本明細書の認識システム１００は、車両１０２に取り付けられ得る少なくとも１つのカメラシステム１０８を含んでもよい。図示の例では、カメラシステム１０８はＶＬカメラ１１０と熱カメラ１１２とを含んでもよい。この例では、ＶＬカメラ１１０はステレオＶＬカメラである。他の例では、カメラシステム１０８は、ＶＬカメラ１１０としてのＶＬステレオカメラの代わりに、又はそれに加えて、１つ又は複数のモノラルＶＬカメラを含んでもよい。さらに、場合によっては、複数の熱カメラ１１２が含まれてもよい。また、カメラシステム１０８のカメラ１１０、１１２は、この例では車両の屋根上に同じ場所に配置されているように示されているが、他の例では、熱カメラ１１２及び／又はＶＬカメラ１１０は、車両１０２の様々な異なる場所のうちのいずれかに一緒に又は別々に配置されてもよい。

【0018】

図示の例では、ＶＬカメラ１１０のＦＯＶ１１４は、熱カメラ１１２のＦＯＶ１１６と一致する。ＦＯＶ１１４、１１６は、車両１０２の前方の道路又は他の走行経路１０４、接近車両１１８、道路エッジ１２０、路側領域１２２、道路車線マーキング１２４などを撮像するのに十分な幅であってもよい。また、他の例では、ＶＬカメラ１１０のＦＯＶ１１４は、横方向又は垂直方向の少なくとも一方において異なる撮像角度などを提供することなどによって、熱カメラ１１２のＦＯＶ１１６と異なっていてもよい。

【0019】

場合によっては、カメラシステム１０８は、車両１０２が動作している間、例えば１０フレーム／秒、１５フレーム／秒、３０フレーム／秒、６０フレーム／秒、又は回避行動をとるか、他の方法で認識情報に適応するために時間内での走行経路１０４及び走行経路内の障害物の認識を可能にするのに十分な高速度で画像を提供する任意の他の所望の頻度で、それぞれのＦＯＶ１１４、１１６に対応する画像を連続的に撮像してもよい。例えば、カメラシステム１０８の撮像頻度（サンプリング周波数）は、車速が増加するにつれて増加してもよい。また、場合によっては、ＶＬカメラ１１０は、熱カメラ１１２のサンプリング周波数とは異なるサンプリング周波数で撮像してもよい。

【0020】

車両１０２は、以下でさらに説明するように、１つ又は複数の車両計算装置１２６を含んでもよい。車両計算装置１２６は、認識プログラム１２８及び車両制御プログラム１３０を実行してもよい。場合によっては、認識プログラム１２８は、カメラシステム１０８のカメラによって撮像された画像を受信し、画像に対して処理を実行して、車両１０２の現在の走行経路１０４に対する認識を実行してもよい。認識プログラム１２８は、検出され認識された特徴及び障害物に関する認識情報を車両制御プログラム１３０に提供してもよく、車両制御プログラムは、車両乗員に警告するための警報を発する、車両１０２を制動する、車両を加速させる、車両１０２の１つ又は複数の車輪を操舵するなど、認識情報に基づいて１つ又は複数のアクションを開始させてもよい。

【0021】

場合によっては、カメラシステム１０８は、認識プログラム１２８を実行する少なくとも１つの車両計算装置１２６を含んでもよい。他の場合には、車両計算装置１２６は、カメラシステム１０８とは別個であってもよく、認識プログラム１２８を実行するために車両１０２内の他の場所に配置されてもよい。いずれの場合も、車両計算装置１２６は、カメラシステム１０８から画像を受信してもよく、道路、道路特徴、標識、障害物、他の車両などを検出するために画像を処理してもよい。

【0022】

いくつかの例では、認識プログラム１２８は、例えばステレオカメラ画像、モノラルカメラ画像、又は複数のモノラルカメラから撮影された画像を使用して、受信画像から視差マップを生成してもよい。モノラルカメラが使用される場合、訓練された機械学習モデル（図１には示されていない）を使用して深度マップを計算してもよい。例えば、最初に、単眼画像のセット及びそれらの対応するグランドトゥルースの視差マップを撮像して機械学習モデルの訓練に使用してもよい。続いて、機械学習モデルを使用して、新たに撮像される画像の関数として視差マップの近似値を予測してもよい。

【0023】

あるいは、ステレオカメラ又は複数のカメラの場合、画像は２つ以上のカメラによって撮像してもよい。撮像された画像を使用して、セミグローバルブロックマッチング又は任意の他の適切な技術などのブロックマッチング技術を使用して視差を計算してもよい。視差情報を使用して視差マップを生成してもよい。本明細書のいくつかの例では、いくつかの例示的な実施形態を説明するための例示的なシステムとしてステレオカメラシステムが使用されているが、当業者であれば、単一のモノラルカメラ又は複数のモノラルカメラを有するシステムを使用することによっても同様の構成及び技術を適用し得ることを理解するであろう。

【0024】

熱カメラ（単に「熱センサ」とも呼ばれる）及びＶＬカメラは、異なる電磁波スペクトルで動作する。例えば、本明細書に記載のモノラルＶＬカメラ及びステレオＶＬカメラなどのＶＬカメラセンサは、可視光スペクトルで動作してもよい。赤外（ＩＲ）スペクトルは、可視光スペクトルの公称レッドエッジの約０．７５マイクロメートルからほぼ１ミリメートルまでの波長範囲であり得、したがって、室温付近の物体によって放出される熱放射の大部分を含む。したがって、熱放射を含むＩＲスペクトルは、可視光スペクトルよりも長い波長を有するため、一般に人間の目には見えない。物体によって放出される熱放射は、典型的には遠方熱スペクトルの電磁波に対応するため、熱センサはこれらの波を検出し、熱画像を生成することができる。

【0025】

さらに、いくつかの例では、本明細書の熱カメラは近赤外（ＩＲ）カメラと区別され得る。例えば、近ＩＲカメラは、例えば、０．７５～１．４マイクロメートルの波長を検出し得るが、本明細書の熱カメラは、一例として、８～１５マイクロメートルの範囲の波長を検出し得る。したがって、いくつかの例では、近ＩＲカメラはＶＬカメラと同じセンサを使用してもよく、必要な波長のＩＲ光を受光するために周囲ＩＲ光又はＩＲダイオードに依存してもよいが、一方で熱カメラは、ここでは中～遠ＩＲ波長の放出された熱を検出することに依存する。

【0026】

一般に、ＶＬカメラは、検出範囲、光強度などを考慮するときなど、夜間と比較して昼間により良好な認識性能を画像に提供し得る。視差マップは、車道、障害物などのＦＯＶ内の特徴の検出及び認識を可能にし、認識された特徴までの距離を推定するための情報を提供してもよい。一例として、視差マップは、ステレオカメラからの左右カメラ画像を使用して作成されてもよい。生成された視差マップの品質は、認識及び距離推定の性能の品質と相関し得る。「密な」視差マップと呼ばれることが多いより高品質の視差マップは、密な視差マップを作成する際に考慮される画素の大部分に対して高精度の情報を提供し得る。一方、「疎な」視差マップと呼ばれることが多いより低品質の視差マップは、撮像された画像内の限られた数の画素に対してのみ正確な情報を提供し得る。しかしながら、密な視差マップの作成は、疎な視差マップの作成と比較して比較的計算コストが高く、より高価な処理ユニット及びメモリを必要とする場合がある。したがって、疎な視差マップは、必要な画素のすべてについて正しい情報を示さない場合があるが、計算要件を低減するために使用され得る。

【0027】

本明細書の熱カメラは、ＶＬカメラと比較して、低照度条件で優れた性能を提供し得る。しかしながら、熱カメラは、熱センサの画素ゲインの較正に基づいて制限されることがあるため、いくつかの条件下では熱センサが十分に敏感でなくなることがある。したがって、本明細書の実施形態は、様々な異なる条件に対するセンサ画素ゲインの自動補正を提供する。例えば、深夜の温度が低い時などに、熱カメラの較正／ゲインパラメータを調整して、熱カメラで小さな温度差を検出できるようにしてもよい。例えば、本明細書の技術は、本明細書のインテリジェントなセンサゲイン調整に基づいて、夜間に路面と車線マーカとを区別できるようにしてもよい。

【0028】

本明細書の実施形態は、優れた認識結果を可能にするためにＶＬカメラデータと熱カメラデータとの融合を提供する。例えば、本明細書の技術は、より低コストの処理ユニット及びメモリを使用しつつ認識精度を向上できるように、熱カメラ情報に部分的に基づいて、密な視差マップを計算するための画像の領域及び疎な視差マップのための他の領域をインテリジェントに決定することを含む。例えば、本明細書の技術は、疎な視差計算で十分である低優先度領域を識別し、密な視差計算が適切である画像の高優先度領域を識別するために、熱及びＶＬ画像情報をインテリジェントに融合することを含んでもよい。

【0029】

さらに、本明細書の技術は、夜間の障害物及び道路情報の検出及び認識精度を高めるために、１つ又は複数のＶＬカメラ画像から決定されたエッジ視差情報を利用することによって熱センサゲイン値の動的調整を含んでもよい。一例として、本明細書の技術は、モノラル／ステレオカメラによって長いエッジが見つかった個々の画素のゲイン値を変更することを含んでもよい。

【0030】

本明細書で撮像される熱画像は、各障害物又は他の物体の検出された温度、道路特徴などに基づく情報を提供し得る。したがって、ＶＬカメラ画像で一般的に利用可能なテクスチャ、色、及び影などの情報を熱カメラ画像から抽出することはできない。したがって、ＶＬスペクトルカメラで使用される既存の障害物検出アルゴリズムは、熱カメラによって撮像された画像とＶＬカメラによって撮像された画像との間の固有の違いのために、熱カメラ画像での使用に適していないことがある。

【0031】

本明細書のいくつかの例では、疎及び密な視差マップ情報を生成するための領域を決定するために、システムは閾値処理動作とそれに続くクラスタリング動作を使用してもよく、又は、深層学習又はインスタンスセグメンテーションを使用することなどによるセマンティックセグメンテーションネットワークを使用してもよい。閾値処理動作の場合、最初に第１の閾値が撮像された画像内の画素の各々に適用されてもよい。例えば、第１の閾値よりも低い値を有する画素は、低温領域であるとみなして除去してもよく、一方、閾値を超える画素は、高温スポットとみなして保存してもよい。次に、クラスタリング動作を使用して、画像の低優先度領域及び高優先度領域を決定してもよい。特に、低優先度領域は疎な視差処理の対象となってもよく、高優先度領域は密な視差処理の対象となってもよい。

【0032】

あるいは、セマンティックセグメンテーションネットワーク及びディープラーニング、インスタンスセグメンテーション、又は他の機械学習モデルを使用して関心領域を決定する場合、画像内の画素は、対応するセグメント及びクラスにまず分類されてもよい。例えば、各クラス及びセグメントは路面特性を示してもよい。天候、昼、夜、異なる路面タイプなどの様々な異なるシナリオ及び条件の下で撮像された画像を含み、かつ、歩行者、車両、信号機、道路縁石、街灯、交通標識などの様々な障害物及び道路特徴を含む画像も含む、熱画像の大きなセットのデータベース（図１には示されていない）をまとめてもよい。データベース及び対応するラベルが準備されると、セマンティックセグメンテーションネットワークはデータベースの一部を使用して訓練されてもよく、訓練された機械学習モデルはデータベースの別の部分を使用して評価されて正確な出力を確実にしてもよい。続いて、使用中に、撮像された熱画像が訓練された機械学習モデルに入力され、訓練されたモデルが関心領域を出力してもよい。したがって、関心領域は密な視差処理の対象となり、画像の残りは疎な視差処理の対象となることで、組み合わされた疎及び密な視差マップ画像が生成されてもよい。

【0033】

図２は、いくつかの実施形態による、車両１０２に含まれ得る認識システム２００の例示的なアーキテクチャを示す。各車両計算装置１２６は、１つ又は複数のプロセッサ２０２と、１つ又は複数のコンピュータ可読媒体２０４と、１つ又は複数の通信インタフェース２０６とを含んでもよい。いくつかの例では、車両計算装置１２６は、１つ又は複数のＥＣＵ（電子制御ユニット）又は様々な他の種類の計算装置のいずれかを含んでもよい。例えば、車両計算装置１２６は、ナビゲーション、制動、操舵、加速、減速などのＡＤＡＳ及び／又はＡＤタスクを実行するために重要な車両システムを制御するための１つ又は複数のＡＤＡＳ／ＡＤ ＥＣＵを含んでもよい。車両計算装置１２６はまた、他の車両システムを制御するための他のＥＣＵを含んでもよい。

【0034】

ＥＣＵは、車両内のシステム、サブシステム、又は構成要素のうちの１つ又は複数を制御する任意の組み込みシステムの総称である。認識プログラム１２８及び車両制御プログラム１３０などのソフトウェアは、１つ又は複数のＥＣＵによって実行されてもよく、ＥＣＵが組み込みシステムとして動作できるようにするために、それぞれのＥＣＵに関連するコンピュータ可読媒体２０４（例えば、プログラムＲＯＭ）の一部に格納されてもよい。ＥＣＵは、通常、車両バスプロトコルに従って車両バス２０８を介して互いに通信してもよい。一例として、コントローラエリアネットワークバス（ＣＡＮバス）プロトコルは、ＥＣＵ並びに他の車両装置及びシステムがホストコンピュータなしで互いに通信できるようにする車両バスプロトコルである。ＣＡＮバスは、少なくとも２つの異なる種類を含んでもよい。例えば、高速ＣＡＮは、バスが環境の一端から他端まで通っているアプリケーションで使用され得るが、フォールトトレラントＣＡＮは、ノードのグループが一緒に接続される場合に使用されることが多い。

【0035】

各ＥＣＵ又は他の車両計算装置１２６は、１つ又は複数のプロセッサ２０２を含んでもよく、プロセッサは、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、論理回路、及び／又は動作命令に基づいて信号を操作する任意の装置のうちの１つ又は複数を含んでもよい。一例として、プロセッサ２０２は、本明細書に記載のアルゴリズム及び他のプロセスを実行するように特にプログラムされ又は構成された任意の適切な種類の１つ又は複数のハードウェアプロセッサ及び／又は論理回路を含んでもよい。プロセッサ２０２は、コンピュータ可読媒体２０４に格納されたコンピュータ可読命令をフェッチして実行するように構成されてもよく、コンピュータ可読命令は、本明細書に記載の機能を実行するようにプロセッサ２０２をプログラムしてもよい。

【0036】

コンピュータ可読媒体２０４は、コンピュータ可読命令、データ構造、プログラム、プログラムモジュール、及び他のコード又はデータなどの情報を格納するための任意の種類の技術で実装された揮発性及び不揮発性メモリ並びに／又はリムーバブル及び非リムーバブル媒体を含んでもよい。例えば、コンピュータ可読媒体２０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、光学記憶装置、固体記憶装置、磁気ディスク、クラウド記憶装置、又は所望の情報を格納するために使用可能でかつ計算装置によってアクセス可能な任意の他の媒体を含んでもよいが、これらに限定されない。車両計算装置１２６の構成に応じて、コンピュータ可読媒体２０４は、非一時的コンピュータ可読媒体がエネルギー、搬送波信号、電磁波、及び／又は信号自体などの媒体を除外すると言及される限り、有形の非一時的媒体であってもよい。場合によっては、コンピュータ可読媒体２０４は、車両計算装置１２６と同じ場所にあってもよいが、他の例では、コンピュータ可読媒体２０４は、無線ネットワークなどを介してアクセス可能など、車両計算装置１２６から部分的に離れていてもよい。

【0037】

コンピュータ可読媒体２０４は、プロセッサ２０２によって実行可能な任意の数の機能構成要素を格納するために使用されてもよい。多くの実施形態では、これらの機能構成要素は、プロセッサ２０２によって実行可能であり、実行されると、本明細書で車両計算装置１２６に起因するアクションを実行するようにプロセッサ２０２を具体的にプログラムする命令又はプログラムを含む。コンピュータ可読媒体２０４に格納された機能構成要素は、認識プログラム１２８及び車両制御プログラム１３０を含んでもよく、それらの各々は、１つ又は複数のコンピュータプログラム、アプリケーション、実行可能コード、又はそれらの一部を含んでもよい。さらに、この例ではこれらのプログラムが一緒に示されているが、使用中、これらのプログラムの一部又はすべては、別個の車両計算装置１２６上で実行されてもよい。

【0038】

また、コンピュータ可読媒体２０４は、本明細書に記載の機能及びサービスを実行するために使用されるデータ、データ構造、及び他の情報を格納してもよい。例えば、コンピュータ可読媒体２０４は、認識情報２１２、車両データ２１４、画像データ２１６、１つ又は複数の機械学習モデル（ＭＬＭ）２１８、ゲインルックアップテーブル２１９、他のセンサデータ２２０などを格納してもよい。さらに、これらのデータ及びデータ構造は、この例では一緒に示されているが、使用中、これらのデータ及び／又はデータ構造の一部又はすべては、別個の車両計算装置１２６によって又はそれと共に格納されてもよい。車両計算装置１２６はまた、プログラム、ドライバなどを含み得る他の機能構成要素及びデータ、並びに機能構成要素によって使用又は生成されるデータを含むか維持してもよい。さらに、車両計算装置１２６は多くの他の論理的、プログラム的、及び物理的構成要素を含んでもよく、これらのうち上述したものは、本明細書の説明に関連する単なる例である。

【0039】

１つ又は複数の通信インタフェース２０６は、車両バス２０８及び／又は１つ又は複数のネットワーク（図２には示されていない）を介してなど、様々な他の装置との通信を可能にするための１つ又は複数のソフトウェア及びハードウェア構成要素を含んでもよい。例えば、通信インタフェース２０６は、ＬＡＮ、インターネット、ケーブルネットワーク、セルラネットワーク、無線ネットワーク（例えば、Ｗｉ－Ｆｉ（登録商標））及び有線ネットワーク（例えば、ＣＡＮ、ファイバチャネル、光ファイバ、イーサネット（登録商標））、直接接続、並びにＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離通信、及び本明細書の他の場所で追加的に列挙されたもののうちの１つ又は複数を介した通信を可能にしてもよい。

【0040】

車両計算装置１２６は、車両バス２０８、直接接続、又はカメラシステム１０８から画像データ２１６を受信するための任意の他の種類の接続を介してカメラシステム１０８と通信可能であってもよい。例えば、以下で詳細に説明するように、認識プログラム１２８は、カメラシステム１０８から画像データ２１６を受信し、画像内の特徴の認識を実行してもよい。図２の例では、受信した画像データ２１６はＶＬ画像２２２と熱画像２２３とを含んでもよい。例えば、画像データ２１６の一部又は全部は、実質的な処理なしに生画像データとして受信してもよい。あるいは、他の例では、例えば図３に関して以下でさらに説明するように、カメラシステム１０８は、生画像データを車両計算装置１２６に送信するのではなく、画像内の認識を実行してもよい。

【0041】

また、車両計算装置１２６は、車両内の他のシステム及び／又は他のセンサから車両データ２１４を受信してもよい。例えば、車両は、車両制御プログラム１３０によって使用されるセンサ情報を提供し得るカメラシステム１０８に加えて、複数の他のセンサ２２５を含んでもよい。他のセンサ２２５のいくつかの非網羅的な例としては、レーダ、ＬＩＤＡＲ、超音波、全地球測位システム（ＧＰＳ）受信機、例えば他の方向を向いた他のカメラなどが含まれ得る。また、車両制御プログラム１３０によって使用される車両データ２１４は、サスペンションシステムに関連するサスペンションコントローラ２２４、ステアリングシステムに関連するステアリングコントローラ２２６、制動及び加速システムに関連する車速コントローラ２２８などの様々な車両システムから受信される、又はそれらに関連する情報を含んでもよい。

【0042】

一例として、認識プログラム１２８は、例えば、車両が動いている間にカメラシステム１０８が車両の走行経路又は他の周囲の画像を撮像する際に、カメラシステム１０８から連続的にＶＬ画像２２２と熱画像２２３とを画像データ２１６として受信してもよい。さらに、認識プログラム１２８は、受信した画像データ２１６を処理して道路特徴や障害物等を認識してもよい。認識プログラム１２８は、検出された障害物、道路特徴などに関する認識情報２１２を車両制御プログラム１３０に提供し、車両制御プログラムは認識情報に応答して１つ又は複数のアクションをとってもよい。いくつかの例では、車両制御プログラム１３０及び／又は認識プログラム１２８は、画像データ２１６から決定された認識情報２１２を他のセンサデータ２２０と融合又は他の方法で組み合わせて統合することで、車両を制御するために追加の利用可能な情報を車両制御プログラム１３０に提供してもよい。

【0043】

例えば、車両制御プログラム１３０は、ルールベース及び／又は人工知能ベースの制御アルゴリズムを使用して、車両制御のためのパラメータを決定してもよい。例えば、車両制御プログラム１３０は、１つ又は複数の機械学習モデル（図２には示されていない）を適用して制動、操舵、減速、加速などの適切なアクションを決定してもよい。さらに、車両制御プログラム１３０は、認識情報２１２に応答して、１つ又は複数の制御信号２３８を１つ又は複数の車両システムに送信してもよい。例えば、車両制御プログラム１３０は、サスペンションコントローラ２２４、ステアリングコントローラ２２６、及び／又は車速コントローラ２２８に制御信号２３８を送信してもよい。例えば、制御信号２３８は、サスペンションコントローラ２２４に送信される指定のばね係数及び／若しくは減衰制御情報、１つ又は複数の車輪を操舵するためにステアリングコントローラ２２６に送信される指定のステアリング角度、並びに／又は車速コントローラ２２８に送信される指定の制動若しくは加速制御情報を含んでもよい。

【0044】

それに加えて、又はその代わりに、車両が運転者人間の運転者の制御下にある場合など、車両制御プログラム１３０は、警報を提示するために制御信号２３８をディスプレイ２４０に送信し、かつ／又は聴覚若しくは視覚警報装置などの１つ又は複数の警報装置２４２に送信してもよい。警報装置２４２の例としては、聴覚警報を生成し得るスピーカ、振動又は他の種類の触覚警報を生成し得る触覚装置（例えば、シート又はステアリングホイール内）、及び／又は視覚警報を生成し得る視覚信号装置が含まれる。

【0045】

図３は、いくつかの実施形態による、車両１０２に含まれ得る認識及び車両制御システム３００の例示的なアーキテクチャを示す。この例では、カメラシステム１０８は、車両計算装置１２６とは独立して認識情報２１２を決定するための処理能力を含んでもよい。したがって、カメラシステム１０８は１つ又は複数のプロセッサ３０２と、１つ又は複数のコンピュータ可読媒体３０４と、又は複数の通信インタフェース３０６とを含む。１つ又は複数のプロセッサ３０２は、図２に関して上述したプロセッサ２０２のいずれか、又は本明細書に記載の動作を実行するための他の適切なプロセッサであるかそれらを含んでもよい。さらに、１つ又は複数のコンピュータ可読媒体３０４は、図２に関して上述したコンピュータ可読媒体２０４のいずれか、又は他の適切なコンピュータ可読媒体であるかそれらを含んでもよい。同様に、通信インタフェース３０６は、図２に関して上述した通信インタフェース２０６又は他の適切な通信インタフェースのいずれかであるかそれらを含んでもよい。

【0046】

また、カメラシステム１０８はＶＬカメラ１１０と熱カメラ１１２とを含み、これらは、当該技術分野で知られているような１つ又は複数のレンズと、１つ又は複数のフォーカスシステムと、１つ又は複数の画像センサ及び１つ又は複数の熱センサとを含んでもよい。この例では、カメラシステム１０８は、１つ又は複数のプロセッサ３０２上で認識プログラム１２８を実行してもよい。したがって、ＶＬカメラ１１０及び熱カメラ１１２はそれぞれの視野内の画像を撮像してもよく、撮像した画像を画像データ２１６としてコンピュータ可読媒体３０４に格納してもよい。

【0047】

いくつかの例では、認識プログラム１２８はＶＬカメラ１１０及び熱カメラ１１２から画像データ２１６を受信する。例えば、認識プログラム１２８は、それぞれのＶＬ画像及び熱画像が撮像される際に、ＶＬカメラ１１０及び熱カメラ１１２からコンピュータ可読媒体３０４のバッファ内に画像データ２１６を連続的に受信してもよい。さらに、認識プログラム１２８は、以下でさらに詳細に説明するように受信画像に対して認識処理を実行してもよい。次いで、認識プログラム１２８は、認識情報２１２を車両計算装置１２６にリアルタイムで送信してもよい。次いで、車両制御プログラム１３０は、図２に関して上述したように、かつ以下でさらに説明するように、車両を制御するために認識情報２１２を処理してもよい。

【0048】

いくつかの例では、車両計算装置１２６は、最初に認識情報２１２を受信し、他のセンサデータ２２０も受信し得る集約プログラム３０８を実行してもよい。例えば、集約プログラム３０８は、認識情報２１２を他のセンサデータと比較して照合し、車両の周囲のより完全な指示を車両制御プログラム１３０に提供してもよい。上述した図２の例と同様に、車両制御プログラム１３０は、受信した認識情報２１２及び他のセンサデータ２２０に基づいて、１つ又は複数の制御信号２３８を１つ又は複数のサスペンションコントローラ２２４、ステアリングコントローラ２２６、車速コントローラ２２８、ディスプレイ２４０及び／又は警報装置２４２に送信してもよい。さらに、本明細書のいくつかの例では、ＶＬカメラ１１０及び熱カメラ１１２は同じプロセッサ３０２及び／又は同じ車両計算装置１２６を使用するものとして説明しているが、他の例では、ＶＬカメラ１１０は、熱カメラ１１２によって使用されるものとは異なる１つ又は複数のプロセッサ３０２及び／又は異なる車両計算装置１２６を使用してもよい。

【0049】

図４は、いくつかの実施形態による、カメラシステム１０８によって実行される画像キャプチャ４００の一例を示す。この例では、カメラシステム１０８は、ステレオＶＬカメラ１１０と熱カメラ１１２とを含む。例えば、ステレオＶＬカメラ１１０は、右レンズ４０２と左レンズ４０４とを含んでもよい。右レンズ４０２は右画像４０６を撮像し、左レンズ４０４は左画像４０８を撮像してもよい。また、熱カメラ１１２は、マイクロボロメータなどの熱センサ４１２を使用して熱画像４１０を撮像してもよい。上述したように、いくつかの例では、ステレオＶＬカメラ１１０のＦＯＶと熱カメラ１１２のＦＯＶとはほぼ同じであってもよい。ステレオＶＬカメラ１１０のＦＯＶが熱カメラ１１２のＦＯＶと大きく異なる他の例では、関連するカメラ１１０、１１２のＦＯＶの差を考慮に入れるために追加の変換計算を実行し、それぞれのＦＯＶの重複部分を位置合わせしてもよい。

【0050】

以下でさらに説明するように、システム（例えば、システム１００、２００、及び／又は３００）は、それぞれ、左右の画像４０６及び４０８を使用して視差マップ画像と呼ばれる視差の画像を決定してもよい。例えば、システムは、ブロックマッチング法に基づいて、２つのステレオ左右画像４０６及び４０８を使用して視差マップ画像を計算してもよい。一例として、当技術分野で知られているように、左画像４０８内の点ＰＬ＝（ｕ１，ｖ１）の場合、右画像４０６内の対応する点ＰＲ＝（ｕ２，ｖ２）はＰＬと同じ高さにあり、共通のベースラインから測定してｖ１＝ｖ２であってもよい。したがって、視差測定値は、視差が以下のように定義され得る単純なステレオカメラ理論を使用して決定することができる。
ｄ＝ｕ２－ｕ１ 式（１）

【0051】

画像上の視差は対応する視差に反比例するため、本明細書の実施形態は、決定した視差に基づいて、視差から３Ｄ点の深度情報を決定することによって視差画像を決定してもよい。したがって、深度は、左右の画像及び実際の視差を使用して例えば以下のように計算してもよい。
Ｚ＝ｆｂ／ｄ 式（２）
ここで、Ｚはカメラ軸に沿った距離（深度）、ｆは画素単位の焦点距離、ｂはメートル単位のベースライン、ｄは画素単位の視差である。

【0052】

本明細書のいくつかの例では、システムは、少なくとも部分的に熱画像４１０を使用することによって、視差マップ画像のどの領域を密な視差マップとして計算し、他のどの領域を疎な視差マップとして計算するかを決定してもよく、その結果、処理時間を短縮しかつ／又はより低コストの処理ユニット及びメモリを使用しつつ、認識精度を向上できるようになる。例えば、本明細書の技術は、疎な視差計算で十分である画像の低優先度領域を識別し、密な視差計算が適切である画像の高優先度領域を識別するために、熱画像情報とＶＬ画像情報の両方をインテリジェントに考慮することを含んでもよい。

【0053】

図５～図８及び図１１の少なくとも一部は、いくつかの実施形態による例示的なアルゴリズム又は他のプロセスを示すフロー図を含む。プロセスは、一連の動作を表す論理フロー図内のブロックの集合として示されており、その一部又は全部は、ハードウェア、ソフトウェア、又はそれらの組合せで実施されてもよい。ソフトウェアの文脈では、ブロックは、１つ又は複数のプロセッサによって実行されると記載された動作を実行するようにプロセッサをプログラムする、１つ又は複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表してもよい。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、又は特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックが記載される順序は限定として解釈されるべきではない。任意の数の記載されたブロックを任意の順序でかつ／又は並列に組み合わせてプロセス又は代替プロセスを実施することができ、また、すべてのブロックを実行する必要はない。説明の目的のために、プロセスは、本明細書の例に記載されている環境、フレームワーク、及びシステムを参照して説明されるが、プロセスは、多種多様な他の環境、フレームワーク、及びシステムで実施されてもよい。

【0054】

図５は、いくつかの実施形態による、ステレオカメラ画像を使用した動的ゲイン調整のための例示的なプロセス５００を示すフロー図である。いくつかの例では、プロセス５００は、上述したシステム１００、２００及び／又は３００によって、認識プログラム１２８の実行によって実行されてもよい。

【0055】

５０２において、システムは、ステレオＶＬカメラにＶＬ画像を撮像させるための信号を送信してもよい。例えば、車両が始動するか、運転を開始するか、又は走行を開始する準備をすると、車両制御プログラム１３０又は他のプログラムはカメラシステム１０８を含む車両センサに信号を送信して、ステレオＶＬカメラからの画像を含むセンサ情報の受信及び処理を開始してもよい。

【0056】

５０４において、システムは、熱カメラに熱画像を撮像させるための信号を送信してもよい。例えば、信号は、ＶＬカメラについて５０２で上述したのと同じ方法で、又は時刻、日射条件などの異なるトリガに基づいてトリガされてもよい。

【0057】

５０５において、システムは、現在の気象条件、時刻、熱カメラ視野に対する太陽の位置、道路タイプなど、ゲイン調整の実行に関連する局所条件を決定してもよい。以下でさらに説明するように、これら及び／又は他の条件は、熱カメラのゲイン較正調整を実行するためのゲイン重みを決定するために使用してもよい。いくつかの例では、この情報の一部又は全部は、図２及び図３に関して上述した他のセンサ２２５から受信したセンサ情報に基づいて決定してもよい。

【0058】

５０６において、システムは、ステレオＶＬカメラから左ＶＬ画像を受信してもよい。

【0059】

５０８において、システムは、ステレオＶＬカメラから右ＶＬ画像を受信してもよい。

【0060】

５１０において、システムは、熱カメラから熱画像を受信してもよい。例えば、熱画像は、左ＶＬ画像及び右ＶＬ画像と同時に撮像され受信されることで３つの画像の各々によって撮像されたシーンがほぼ同じになるようにしてもよい。

【0061】

５１２において、システムは、受信された左ＶＬ画像及び受信された右ＶＬ画像に基づいて視差マップ画像を生成してもよい。例えば、最初に、視差及び画像上の視差を左右の画像から上述のように計算してもよい。この例では、視差マップ画像は疎な視差マップ画像であってもよい。他の例では、視差マップ画像は、図１１～図１４を参照して以下で説明するように生成された、合成された疎及び密な視差マップ画像であってもよい。

【0062】

５１４において、システムは、この例では５０８において受信された右ＶＬ画像などの、左又は右ＶＬ画像の一方からエッジ画像を生成してもよい。例えば、当技術分野で知られている様々なエッジ検出技術のいずれかを使用して、左又は右画像５０６又は５０８の少なくとも一方からエッジ画像を決定してもよい。例えば、エッジ画像は右ＶＬ画像内で識別されたエッジを示してもよく、エッジ画像について決定されたエッジ情報は、以下でさらに説明するように、視差エッジ画像を決定するときに視差マップ画像からどれだけのノイズを除去するかを決定する助けとなってもよい。

【0063】

５１６において、システムは、５１２において決定された視差マップ画像及び５１４において決定されたエッジ画像から視差エッジ画像を決定してもよい。例えば、視差エッジ画像は、視差マップ画像とエッジ画像とを比較して、エッジ画像情報を使用して強いエッジを有する視差マップ画像の領域を保持し得るようにすることによって決定してもよい。これらの領域はその後のゲイン調整のために選択されてもよく、同時に、視差マップ画像からのノイズが除去されてもよい。例えば、エッジ情報の量は、どれだけのノイズが除去され、どれだけの視差情報が出力されるかを制御する。視差エッジ画像の決定のさらなる詳細は、図７に関して以下で説明される。

【0064】

５１８において、システムは、視差エッジ画像内の車線マーカ及び道路エッジ領域を決定してもよい。例えば、様々な認識技術を視差エッジ画像に適用してカーブや路肩などの任意の車線マーカや道路エッジを識別してもよい。

【0065】

５２０において、システムは、ステレオカメラ画像から熱画像への軸変換を実行してもよい。軸変換の例としては、図８に関して以下に説明するようなものがある。

【0066】

５２２において、システムは、５１８において視差エッジ画像内で認識された車線マーカ及び道路エッジ領域を含む、変換された視差エッジ画像に基づいて熱画像内の関心領域を決定してもよい。

【0067】

５２４において、システムは、５２２において決定された熱画像の関心領域に基づいて熱センサ較正のゲイン調整を実行してもよい。一例として、ゲイン調整は、図９に関して以下に説明するルックアップテーブルに基づいて実行してもよい。

【0068】

５２６において、システムは、熱センサ較正のゲイン調整後に受信された熱画像から、車線マーカ、道路エッジ、路面粗さなどを決定してもよい。特に、システムは、画像内の特徴の認識を実行するためにゲイン調整後に受信された熱画像を使用して認識を実行してもよい。例えば、ゲイン調整後に受信された熱画像は、典型的には、道路特徴、障害物などをより正確に認識できるようにするために有意な特徴の優れたコントラストを有する。

【0069】

図６は、いくつかの実施形態による、モノラルカメラ画像を使用した動的ゲイン調整のための例示的なプロセス６００を示すフロー図である。いくつかの例では、プロセス６００は、上述したシステム１００、２００及び／又は３００によって認識プログラム１２８の実行により実行されてもよいが、上述したステレオＶＬカメラ１１０の代わりにモノラルＶＬカメラを使用して実行されてもよい。

【0070】

６０２において、システムは、モノラルＶＬカメラにモノラルＶＬ画像を撮像させるための信号を送信してもよい。例えば、車両が始動するか、運転を開始するか、又は走行を開始する準備をすると、車両制御プログラム１３０又は他のプログラムはカメラシステム１０８を含む車両センサに信号を送信して、モノラルＶＬカメラからの画像を含むセンサ情報の受信及び処理を開始してもよい。

【0071】

６０４において、システムは、熱カメラに熱画像を撮像させるための信号を送信してもよい。例えば、信号は、ＶＬカメラについて６０２で上述したのと同じ方法で、又は時刻、日射条件などの異なるトリガに基づいてトリガされてもよい。

【0072】

６０５において、システムは、現在の気象条件、時刻、熱カメラ視野に対する太陽位置、道路タイプなど、ゲイン調整の実行に関連する局所条件を決定してもよい。以下でさらに説明するように、これら及び／又は他の条件は、熱カメラのゲイン較正調整を実行するためのゲイン重みを決定するために使用してもよい。いくつかの例では、この情報の一部又は全部は、図２及び図３に関して上述した他のセンサ２２５から受信したセンサ情報に基づいて決定してもよい。

【0073】

６０６において、システムは、モノラルＶＬカメラからモノラルＶＬ画像を受信してもよい。

【0074】

６０８において、システムは、熱カメラから熱画像を受信してもよい。例えば、熱画像は、モノラル画像及び熱画像によって撮像されたシーンがほぼ同じになるようにモノラルＶＬ画像と同時に撮像して受信してもよい。

【0075】

６１０において、システムは、モノラルＶＬ画像からエッジ画像を生成してもよい。例えば、エッジ画像は、当技術分野で知られている様々なエッジ検出技術のいずれかを使用して決定してもよい。エッジ画像は、モノラルＶＬ画像内で識別されたエッジを示してもよい。

【0076】

６１２において、システムは、エッジ画像内の潜在的な車線マーカを決定してもよい。例えば、様々な認識技術のいずれかを使用して、エッジ画像内の車線マーカを認識してもよい。

【0077】

６１４において、システムは、熱カメラ画像内の関心領域を決定する際に使用するための潜在的に認識された車線マーカタイプを提供してもよい。

【0078】

６１５において、システムは、モノラルＶＬ画像から視差画像を決定してもよい。例えば、システムは、連続するモノラルカメラ画像を互いに比較することなどに基づいて、モノラルカメラ画像の視差マップを決定するように訓練された機械学習モデルを使用してもよい。一例として、機械学習モデルが既知の車速に基づいてその後においてモノカメラ画像から視差マップを生成できるようにするために、畳み込みニューラルネットワークなどの人工ニューラルネットワーク、又は他の種類の機械学習モデルが既知の車速におけるモノラル画像の訓練セットを使用して訓練されてもよい。さらに、１つ又は複数のモノラルカメラ画像から視差マップを生成するための他の技術は、本明細書の開示の利益を有する当業者には明らかであろう。また、代替例では、視差マップは生成されず、エッジ画像のみが関心領域を決定するために使用されてもよい。

【0079】

６１６において、システムは、６１５において決定された視差マップ画像及び６１０において決定されたエッジ画像から視差エッジ画像を決定してもよい。例えば、視差エッジ画像は、視差マップ画像とエッジ画像とを比較して、エッジ画像情報を使用して強いエッジを有する視差マップ画像の領域を保持し得るようにすることによって決定してもよい。これらの領域はその後のゲイン調整のために選択されてもよく、同時に、視差マップ画像からのノイズが除去されてもよい。例えば、エッジ情報の量は、どれだけのノイズが除去され、どれだけの視差情報が出力されるかを制御する。視差エッジ画像の決定のさらなる詳細は、図７に関して以下で説明される。

【0080】

６１８において、システムは、視差エッジ画像内の車線マーカ及び道路エッジ領域を決定してもよい。例えば、様々な認識技術を視差エッジ画像に適用してカーブや路肩などの任意の車線マーカや道路エッジを識別してもよい。

【0081】

６２０において、システムは、モノラルカメラ画像から熱画像への軸変換を実行してもよい。軸変換の例としては、図８に関して以下に説明するようなものがある。

【0082】

６２２において、システムは、６１８において視差エッジ画像内で認識された車線マーカ領域及び道路エッジ領域を含む、潜在的な車線マーカタイプ及び変換された視差エッジ画像に基づいて熱画像内の関心領域を決定してもよい。

【0083】

６２４において、システムは、５２２において決定された熱画像の関心領域に基づいて熱センサ較正のゲイン調整を実行してもよい。一例として、ゲイン調整は、図９に関して以下に説明するルックアップテーブルに基づいて実行してもよい。

【0084】

６２６において、システムは、熱センサ較正のゲイン調整後に受信された熱画像から、車線マーカ、道路エッジ、路面粗さなどを決定してもよい。特に、システムは、画像内の特徴の認識を実行するためにゲイン調整後に受信された熱画像を使用して認識を実行してもよい。例えば、ゲイン調整後に受信された熱画像は、典型的には、道路特徴、障害物などをより正確に認識できるようにするために有意な特徴の優れたコントラストを有する。

【0085】

図７は、いくつかの実施形態による、エッジ視差画像７０１を生成するための例示的なプロセス７００を示すフロー図である。いくつかの例では、プロセス７００は、上述したシステム１００、２００及び／又は３００によって、認識プログラム１２８の実行によって実行されてもよい。例えば、図５又は図６に関して上述した視差マップ画像を計算した後、システムは、それぞれのエッジ画像を使用して視差画像から無効な視差値を有する画素を除去して、エッジ視差画像を取得してもよい。例えば、それぞれのエッジ画像内のエッジ情報の量により、視差画像から除去するノイズの量及び／又はエッジ視差画像に含める視差情報の量を制御してもよい。

【0086】

７０２において、システムは、新たに決定された視差マップ画像を受信する。例えば、視差マップ画像は図４～図６に関して上述したように決定してもよい。

【0087】

７０４において、システムは、新たに決定されたエッジ画像を受信する。例えば、エッジ画像は図５及び図６に関して上述したように決定してもよい。

【0088】

７０６において、システムは、エッジ画像内の各画素について、選択された現在の画素のエッジ値と隣接画素のエッジ値の差がエッジ閾値より大きいかどうかを判定してもよい。

【0089】

７０８において、画素のエッジ値がエッジ閾値より大きい場合、プロセスは７１０に進む。そうでない場合、プロセスは７１６に進む。一例として、エッジ閾値ＥＴＨは、大きな画像データセットに対する統計分析を使用して導出してもよい。例えば、画像データは、異なる路面条件（例えば、アスファルト又はコンクリートなどの異なる路面色）、気象条件、時刻などの様々なシナリオをカバーしてもよい。さらに、エッジ閾値ＥＴＨは気象条件や路面条件に基づいて更新してもよい。

【0090】

７１０において、画素のエッジ値がエッジ閾値より大きい場合、システムは、現在の画素の視差情報を隣接画素の視差情報と比較して、現在の画素の視差値が視差閾値ＤＴＨより大きいかどうかを判定してもよい。一例として、視差閾値ＤＴＨは、大きな画像データセットに対する統計分析を使用して導出してもよい。例えば、画像データは、異なる路面条件（例えば、アスファルト又はコンクリートなどの異なる路面色）、気象条件、時刻などの様々なシナリオをカバーしてもよい。また、視差閾値ＤＴＨは気象条件や路面条件に基づいて更新してもよい。システムは、７０２において受信された視差マップ画像内の対応する画素位置から視差値を決定してもよい。

【0091】

７１２において、画素の視差値が視差閾値ＤＴＨより大きい場合、プロセスは７１４に進む。画素の視差値が視差閾値ＤＴＨより大きくない場合、プロセスは７１６に進む。

【0092】

７１４において、現在の画素の視差値が視差閾値よりも大きい場合、システムは、第１の乗数を使用して視差エッジ画像の画素視差値を生成してもよい。

【0093】

７１６において、画素のエッジ値がエッジ閾値以下であるか、又は画素の視差値が視差閾値以下である場合、システムは、第２の乗数を使用して現在の画素の視差値を生成してもよい。

【0094】

７１８において、システムは、現在の画素の視差値をエッジ視差画像７０１に格納してもよい。プロセス７００は、視差画像及びエッジ画像内の画素ごとに実行されてもよい。

【0095】

図８は、いくつかの実施形態による、熱カメラに対するＶＬカメラ、又はその逆の相対姿勢を決定するための例示的なプロセス８００を示す。いくつかの例では、プロセス８００は、上述したシステム１００、２００及び／又は３００によって、認識プログラム１２８の実行により実行されてもよく、図５のブロック５２０及び／又は図６のブロック６２０に対応してもよい。例えば、熱カメラの軸は可視光カメラの軸とは異なる場合があるため、エッジ視差マップ画像の部分を熱画像の関連部分と位置合わせするために軸変換を実行してもよい。

【0096】

８０２において、システムは、１つ又は複数のＶＬカメラ画像を受信してもよい。８０４において、システムは、１つ又は複数の熱カメラ画像を受信してもよい。

【0097】

８０６において、システムは、受信したＶＬ画像に対してホモグラフィに基づく較正を実行してもよい。

【0098】

８０８において、システムは、受信した熱画像に対してホモグラフィに基づく較正を実行してもよい。

【0099】

８１０において、システムは、ＶＬカメラの初期姿勢及びカメラ固有パラメータを決定してもよい。

【0100】

８１２において、システムは、熱カメラの初期姿勢及びカメラ固有パラメータを決定してもよい。

【0101】

８１４において、システムは、８１０及び８１２において決定された情報に基づいて相対姿勢の最適化を実行してもよい。

【0102】

８１６において、システムは、熱カメラに対するＶＬカメラの最適化された相対姿勢を決定してもよい。

【0103】

８１８において、システムは、ＶＬカメラに対する熱カメラの最適化された相対姿勢を決定してもよい。したがって、上記のプロセスを使用して、画像の選択された領域をＶＬカメラ画像軸から熱カメラ画像軸に、又はその逆に変換してもよい。

【0104】

図９は、いくつかの実施形態による、ゲイン重みを選択するための例示的なルックアップテーブル及び決定木９００を示す。例えば、図５のブロック５２４及び図６のブロック６２４に関して上述したように、システムは、上述した熱カメラ１１２の熱センサの較正の動的ゲイン調整を実行してもよい。一例として、ゲイン調整はルックアップテーブル及び決定木９００にアクセスすることに基づいてもよく、これにより、ゲイン調整計算を毎回実行する必要なくゲイン調整を実行するためのゲイン重みを決定する。例えば、各領域の軸がＶＬカメラ軸から熱カメラ軸に変換された後、１つ又は複数の関心領域が選択されてもよく、熱センサがマイクロボロメータ又は他の熱センサであり得る場合など、ゲイン値に対するゲイン調整が熱センサの画素の較正を使用して動的に決定されてもよい。

【0105】

いくつかの例では、関心領域は、選択されたすべての領域を考慮して行及び列の最小値及び最大値を見つけることによって計算されてもよい。関心領域に基づいて、各ピクセルのゲインをインテリジェントに計算してもよい。以下の式は、いくつかの例においてゲインがどのように計算され得るかを示す線形方程式の一例である。
スロープゲイン_{（ｉ，ｊ）}＝Ａ_ｐｉｘ＊Ｗ_ｏｂｊ＊Ｒ_{（ｉ，ｊ）}＊Θ_ｆｐａ 式（３）
ここで、Ａ_ｐｉｘ＝画素面積、Ｗ_ｏｂｊ＝目標投影角度、Ｒ_{（ｉ，ｊ）}＝センサの温度依存応答性、Θ_ｆｐａ＝センサの温度である。

【0106】

ルックアップテーブル及び決定木９００は、道路タイプ９０２、天候９０４、及び時間９０６などの様々な異なる条件に基づいてスロープゲイン値のゲイン重みが予め決定され得るように事前に決定されていてもよい。道路タイプ９０２は、アスファルト９０８、レンガ９１０、及びコンクリート９１２などの様々な異なる道路タイプに分類されてもよい。また、天候９０４は、晴れ９１４、曇り９１６、雨９１８、霧９２０、及び雪９２２などの様々な異なる天候タイプに分類されてもよい。さらに、時間９０６は、朝９２４、午後９２６、及び夜９２８などの様々な異なる時間に分類されてもよい。例えば、熱画像のゲイン調整を決定するために、決定木９３０は、現在検出された道路タイプ９０２、天候９０４、及び時間９０６に基づいて、ルート９３２から４５個の異なる葉９３４のうちの１つにナビゲートされてもよい。各葉９３４には、異なる各ゲイン重みＧ１～Ｇ４５が関連付けられてもよい。さらに、決定木９３０が図９に示されているが、同じ結果を達成するために他の任意の適切な種類のデータ構造が使用されてもよい。

【0107】

また、図９のルックアップテーブル及び決定木９００に使用される条件は、この例に含まれるものに限定されず、より少ない条件、他の条件、又は追加の条件を含んでもよい。一例として、熱カメラのＦＯＶに対する太陽の位置が考慮されてもよい。例えば、太陽はその位置に応じて、熱カメラに光を向けることもあれば熱カメラの側面又は背面から光を向けることもあり得る。さらに、太陽に対する熱カメラの相対位置は車両が移動して方向を変えるにつれて動的に変化することがあり、場合によっては熱カメラのゲインをそれに応じて動的に調整してもよい。

【0108】

図１０は、いくつかの実施形態による、動的較正調整前後の例示的な熱画像１０００を示す。例えば、動的ゲイン調整の前に熱カメラから第１の画像１００２が最初に受信されると仮定する。続いて、動的ゲイン調整手順を熱カメラの熱センサの較正に適用して、その後の第２の画像１００４がコントラスト及び特徴認識性を改善できるようにしてもよい。例えば、第１の画像１００２では、車線マーカ１００６が第２の画像１００４よりも路面に実質的に多く溶け込んでいる。動的ゲイン調整は、路面、天候、及び時間などの条件の変化に応じて継続的に実行されてもよい。さらに、条件の３つの例として路面、天候、及び時間が提示されているが、ゲイン調整に使用され得る他の条件は、本明細書の開示の利益を有する当業者には明らかであろう。

【0109】

図１１は、いくつかの実施形態による、疎な視差領域と密な視差領域とを組み合わせる視差マップを生成するための例示的なプロセス１１００を示すフロー図である。いくつかの例では、プロセス１１００は、上述したシステム１００、２００及び／又は３００によって、認識プログラム１２８の実行によって実行されてもよい。

【0110】

１１０２において、システムは、ステレオＶＬカメラにＶＬ画像を撮像させるための信号を送信してもよい。例えば、車両が始動するか、運転を開始するか、又は走行を開始する準備をすると、車両制御プログラム１３０又は他のプログラムはカメラシステム１０８を含む車両センサに信号を送信して、ステレオＶＬカメラからの画像を含むセンサ情報の受信及び処理を開始してもよい。

【0111】

１１０４において、システムは、熱カメラに熱画像を撮像させるための信号を送信してもよい。例えば、信号は、ＶＬカメラについて５０２で上述したのと同じ方法で、又は時刻、日射条件などの異なるトリガに基づいてトリガされてもよい。

【0112】

１１０６において、システムは、ステレオＶＬカメラから左ＶＬ画像を受信してもよい。

【0113】

１１０８において、システムは、ステレオＶＬカメラから右ＶＬ画像を受信してもよい。

【0114】

１１１０において、システムは、熱カメラから熱画像を受信してもよい。例えば、熱画像は、左ＶＬ画像及び右ＶＬ画像と同時に撮像され受信されることで３つの画像の各々によって撮像されたシーンがほぼ同じになるようにしてもよい。いくつかの例では、熱画像は、図５～図１０に関して上述したゲイン調整後に受信してもよい。

【0115】

１１１２において、システムは、熱画像内の関心領域を決定して疎及び密な視差マップ情報を生成するための領域を決定してもよい。例えば、システムは（１）閾値処理動作とそれに続くクラスタリング動作を使用してもよく、又は、（２）深層学習又はインスタンスセグメンテーションを使用することなどによるセマンティックセグメンテーションネットワークを使用してもよい。閾値処理動作及びクラスタリング動作の場合、最初に温度を示す第１の閾値が撮像された画像内の画素の各々に適用されてもよい。例えば、指定の閾値よりも低い値を有する画素は、低温領域であるとみなして除去してもよく、一方、閾値を超える画素は、高温スポットとみなして保存してもよい。したがって、システムは、各画素の階調又は階調値に基づいて、閾値より上又は下であるとして撮像された画像を分割できる。

【0116】

あるいは、セマンティックセグメンテーションネットワーク及びディープラーニングインスタンスセグメンテーション又は他の機械学習モデルを使用して関心領域を決定する場合、画像内の画素は、対応するセグメント及びクラスにまず分類されてもよい。例えば、各クラス及びセグメントは路面特性を示してもよい。異なる気象条件、昼や夜の異なる時刻、異なる路面タイプなどの様々な異なるシナリオ及び条件の下で撮像された画像を含み得る熱画像の大きなセットのデータベースを訓練データとしてまとめてもよい。訓練データの熱画像は、歩行者、車両、信号機、道路縁石、街灯、交通標識などの様々な障害物及び道路特徴を含む画像も含んでもよい。データベース及び対応するラベルが準備されると、セマンティックセグメンテーションネットワークは訓練データ画像の第１の部分を使用して訓練されてもよく、訓練された機械学習モデルはデータベースの第２の部分を使用して評価・調整されて正確な出力を確実にしてもよい。続いて、使用中に、撮像された熱画像が訓練された機械学習モデルに入力され、訓練されたモデルが関心領域を出力してもよい。したがって、後述するように、関心領域は密な視差処理の対象となり、画像の残りの部分は疎な視差処理の対象となってもよい。

【0117】

１１１４において、システムは、熱画像内における優先された密及び疎な視差マップ領域を決定してもよい。例えば、クラスタリング動作を使用して、高温スポットのクラスタを高優先度領域として識別し、これに基づいて、画像の低優先度領域及び高優先度領域を決定してもよい。特に、低優先度領域は疎な視差処理の対象となってもよく、高優先度領域は密な視差処理の対象となってもよい。さらに、障害物の種類や距離情報などに部分的に基づいて高優先度領域と低優先度領域を選択してもよい。例えば、各クラスタは、障害物の種類、物体までの距離などに基づいて個別に考慮されてもよく、システムは、疎及び密な視差マップを生成するために各クラスタに優先度を割り当ててもよい。

【0118】

１１１６において、システムは、熱画像からステレオ画像への変換として動作してもよい。この動作を実行するための例示的なプロセスは、例えば図８に関して上述されている。

【0119】

１１１８において、システムは、優先された密な視差領域をＶＬ画像にマッピングするために、受信したステレオＶＬ画像に対して熱画像のブロックマッチングを実行してもよい。例えば、システムは、高優先度領域をＶＬ画像にマッピングするために、ステレオＶＬ画像のブロックを熱画像と一致させてもよい。

【0120】

１１２０において、システムは、ブロックマッチングに基づいて、いくつかの疎な視差領域といくつかの密な視差領域とを組み合わせた視差マップ画像を生成してもよい。例えば、システムは高優先度領域についてのみ密な視差を計算し、一方で低優先度の他の領域は疎な視差のみが計算される。それに伴い、本明細書の実施形態は認識精度を高めつつ、そうするために必要な処理リソースの量を低減することができる。一例として、低優先度とラベル付けされた領域では、視差マップ計算を実行する前に画像をダウンサンプリングし、疎なマッチングアルゴリズムを使用して画像対間のロバスト一致のセットを確立してもよい。一方、高優先度領域については、ステレオ画像対をダウンサンプリングせずに視差マップ画像を計算し、密なマッチングアルゴリズムを使用してそれぞれの画像内のすべての点について一致を見つけてもよい。

【0121】

より具体的な例として、疎な視差領域を計算するために、低優先度画像領域のダウンサンプリングと共にＺＳＡＤ（０平均絶対差和）に基づくステレオブロックマッチングアルゴリズムを使用してもよい。さらに、密な視差マップ領域を計算するために、画像をダウンサンプリングせずにセミグローバルマッチング（ＳＧＭ）アルゴリズムを使用してもよい。さらに、視差マップ計算を実行するのに低コストのＥＣＵ又は他のプロセッサを使用する場合のように、疎な視差マップ計算と密な視差マップ計算の両方に同じＺＳＡＤステレオブロックマッチング技術を使用してもよい。しかしながら、疎な視差マップ計算の場合、画像は最初にダウンサンプリングされ得るが、密な視差マップ計算ではダウンサンプリングは実行されない可能性がある。

【0122】

１１２２において、システムは、組み合わされた疎な／密な視差マップ画像に少なくとも部分的に基づいて認識を実行してもよい。例えば、システムは、当技術分野で知られている様々な認識技術のいずれかを使用して、視差マップ画像内の特徴の認識を実行してもよい。さらに、図１１の例はステレオ左右ＶＬ画像に関して説明しているが、他の例では、プロセス１１００はモノラルＶＬカメラから受信した画像を使用して実行されてもよい。

【0123】

図１２は、いくつかの実施形態による、高優先度領域及び低優先度領域を決定するための例示的な画像１２００を示す。例えば、第１の画像１２０２は、熱カメラから受信した熱画像の一例を示す。第２の画像１２０４は、上述したようなセマンティックセグメンテーション又は他の機械学習方法を使用することや上述した閾値処理及びクラスタリング技術を使用することなどによる、第１の画像１２０２の処理の結果を示す。また、第３の画像１２０６は、高優先度領域を白、低優先度領域を黒で示す関心領域選択処理によって選択された優先領域を示す。

【0124】

図１３は、いくつかの実施形態による、ステレオ画像内の高優先度領域を決定するためのブロックマッチングの例１３００を示す。この例では、識別された優先領域を有する熱画像と、ＶＬカメラから受信したステレオＶＬ画像との間でブロックマッチングが実行される。例えば、図１２の第３の画像１２０６が、図４に関して上述した右ステレオ画像４０６及び左ステレオ画像４０８と一致するブロックであると仮定する。１３０２及び１３０４に示すように、ブロックマッチングの結果、それぞれのステレオ画像１３０２及び１３０４において優先領域１３０６が識別される。上述したように、高優先度領域については密な視差マップ処理が実行され、低優先度領域については疎な視差マップ処理が実行されてもよい。

【0125】

図１４は、いくつかの実施形態によって決定された、疎な視差領域及び密な視差領域が組み合わされた例示的な視差マップ画像１４００を示す。この例では、高優先度領域は密な視差マップ処理を用いて算出され、低優先度領域は疎な視差マップ処理を用いて算出される。したがって、１４０２及び１４０３に示すように、画像の平坦な道路領域及び画像の空領域を決定する際には疎な視差マップ処理が使用されている。一方、１４０４に示すように、悪路領域を決定する際には密な視差マップ処理が使用されている。同様に、障害物については１４０６で、右ガードレールについては１４０８で、左ガードレールについては１４１０で、密な視差マップ処理が使用されている。したがって、視差マップ画像１４００の一部のみを密な視差マップ算出技術を使用して算出することで、視差マップ画像１４００の生成に要する処理量を削減できる。

【0126】

本明細書に記載の例示的なプロセスは、説明の目的で提供されるプロセスの例にすぎない。本明細書の開示に照らして、多数の他の変形形態が当業者には明らかであろう。さらに、本明細書の開示はプロセスを実行するための適切なフレームワーク、アーキテクチャ、及び環境のいくつかの例を記載しているが、本明細書の実施形態は図示及び説明された特定の例に限定されない。さらに、本開示は、説明されかつ図示されるように、様々な例示的な実施形態を提供する。しかしながら、本開示は、本明細書に説明及び図示された実施形態に限定されず、当業者に知られているように、又は当業者に知られるようになったように、他の実施形態に拡張され得る。

【0127】

本明細書で説明される様々な命令、プロセス、及び技術は、コンピュータ可読媒体に格納され、本明細書のプロセッサによって実行されるコンピュータプログラム及びアプリケーションなどのコンピュータ実行可能命令の一般的な文脈で考慮され得る。一般に、プログラム及びアプリケーションという用語は交換可能に使用されてもよく、特定のタスクを実行するため、又は特定のデータタイプを実装するための命令、ルーチン、モジュール、オブジェクト、コンポーネント、データ構造、実行可能コードなどを含んでもよい。これらのプログラム、アプリケーションなどは、ネイティブコードとして実行されてもよいし、仮想マシン又は他のジャストインタイムコンパイル実行環境などでダウンロード及び実行されてもよい。典型的には、プログラム及びアプリケーションの機能は、様々な実施形態において所望に応じて組み合わされ又は分散されてもよい。これらのプログラム、アプリケーション、及び技術の実装は、コンピュータ記憶媒体に格納されてもよく、又は何らかの形態の通信媒体を介して送信されてもよい。

【0128】

主題は、構造的特徴及び／又は方法論的行為に特有の言語で記載されているが、添付の特許請求の範囲で定義される主題は、記載された特定の特徴又は行為に必ずしも限定されないことを理解されたい。むしろ、特定の特徴及び行為は、特許請求の範囲を実施する例示的な形態として開示されている。

【符号の説明】

【0129】

１００ 認識システム
１０２ 車両
１０４ 走行経路
１０８ カメラシステム
１１０ ＶＬカメラ
１１２ 熱カメラ
１１４ ＦＯＶ
１１６ ＦＯＶ
１１８ 接近車両
１２０ 道路エッジ
１２２ 路側領域
１２４ 道路車線マーキング
１２６ 車両計算装置
１２８ 認識システム
１３０ 車両制御システム
２００ 認識システム
２０２ プロセッサ
２０４ コンピュータ可読媒体
２０６ 通信インタフェース
２０８ 車両バス
２１２ 認識情報
２１４ 車両データ
２１６ 画像データ
２１８ 機械学習モデル
２１９ ゲインルックアップテーブル
２２０ 他のセンサデータ
２２２ ＶＬ画像
２２３ 熱画像
２２５ 他のセンサ
２３８ 制御信号
２４０ ディスプレイ
２４２ 警報装置
３００ 認識・車両制御システム
３０２ プロセッサ
３０４ コンピュータ可読媒体
３０６ 通信インタフェース
３０８ 集約プログラム
４００ 画像キャプチャ
４０２ 右レンズ
４０４ 左レンズ
４０６ 右画像
４０８ 左画像
４１０ 熱画像
４１２ 熱センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】