特開2023-31307重なり合わないカメラ視野から取得された画像を調和させる方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023031307
(43)【公開日】2023-03-08
(54)【発明の名称】重なり合わないカメラ視野から取得された画像を調和させる方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230301BHJP
G06T 1/00 20060101ALI20230301BHJP
【ＦＩ】
H04N7/18 J
G06T1/00 330A
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022132776
(22)【出願日】2022-08-23
(31)【優先権主張番号】21192780.1
(32)【優先日】2021-08-24
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】514189527
【氏名又は名称】コノート、エレクトロニクス、リミテッド
【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】マーク、グリフィン
(72)【発明者】
【氏名】エイデン、ケイシー
(72)【発明者】
【氏名】エムレ、トゥルガイ
(72)【発明者】
【氏名】アレックス、パーキンス
【テーマコード（参考）】
5B057
5C054
【Ｆターム（参考）】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057DA07
5B057DA08
5B057DA16
5B057DB02
5B057DB09
5C054CA04
5C054CC02
5C054FD03
5C054FE18
5C054GB02
5C054GB05
5C054HA30
(57)【要約】 （修正有）
【課題】車両に接続され、且つ、重なり合わない視野を有する２つ以上のカメラによって取得した画像を調和させる方法及び車両用マルチカメラビジョンシステムを提供する。
【解決手段】車両に接続され、それらの視野が車両の進行方向に沿って移動する異なる時刻において、同じ道路空間を覆う第１カメラと第２カメラにより取得する画像を調和させる画像処理方法であって、選択されたカメラによって第１時刻に第１画像を取得すること、第１画像から道路の一部を潜在的に囲む第１関心領域を選択すること、第１関心領域をサンプリングすること、もう一方のカメラによって、第２関心領域に潜在的な道路の一部が含まれるように第２画像を取得すること、第２関心領域をサンプリングすること及び第１関心領域と第２関心領域の画像内容の比較に基づいて、第１カメラと第２カメラによって取得された画像を調和するために１つ又は複数の補正パラメータを決定することを含む。
【選択図】図２
【解決手段】車両に接続され、それらの視野が車両の進行方向に沿って移動する異なる時刻において、同じ道路空間を覆う第１カメラと第２カメラにより取得する画像を調和させる画像処理方法であって、選択されたカメラによって第１時刻に第１画像を取得すること、第１画像から道路の一部を潜在的に囲む第１関心領域を選択すること、第１関心領域をサンプリングすること、もう一方のカメラによって、第２関心領域に潜在的な道路の一部が含まれるように第２画像を取得すること、第２関心領域をサンプリングすること及び第１関心領域と第２関心領域の画像内容の比較に基づいて、第１カメラと第２カメラによって取得された画像を調和するために１つ又は複数の補正パラメータを決定することを含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両（１１）に接続された第１カメラ（ＲＶ、ＦＶ）と第２カメラ（ＴＲ、ＲＶ）により取得された画像を調和させる画像処理方法（１００）であって、それらの視野（ＦＯＶ１、ＦＯＶ２）は、前記車両が進行方向に沿って移動する異なる時刻において、同じ道路空間（１８）を覆うように構成され、
前記車両の前記進行方向を決定すること（１０１）、
前記進行方向に基づいて、第１画像（２００、４００）を取得するように、前記第１カメラと第２カメラの１つを選択すること、
前記選択されたカメラによって、第１時刻に前記第１画像（２００、４００）を取得すること（１０２、１０８）、
前記第１画像の少なくとも１つの第１関心領域（２０１、２０２；４０１、４０２）を選択すること（１０３、１０９）であって、前記第１関心領域は、道路の一部（５０、５１；６０、６１）を潜在的に囲む、選択すること（１０３、１０９）、
前記第１画像（２００、４００）から、前記少なくとも１つの第１関心領域（２０１、２０２；４０１、４０２）をサンプリングすること（１０４、１１０）、
前記第１時刻の後に、もう一方のカメラによって第２画像（３００、６００）を取得するための第２時刻を決定するために、前記第２画像（３００、６００）の第２関心領域（３０１、３０２；６０１、６０２）に前記潜在的な道路の一部（５０、５１；６０、６１）が含まれるように、前記車両（１１）が前記進行方向に沿って移動した距離を監視すること（１０５、１１１）、
前記もう一方のカメラによって、前記第２時刻に前記第２画像（３００、６００）を取得すること（１０６、１１２）、
前記第２画像（３００、６００）から前記第２関心領域（３０１、３０２；６０１、６０２）をサンプリングすること（１０７、１１３）、
前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の両方が道路の一部（５０、５１；６０、６１）を含むかを確認すること（１１６）、及び
前記第１関心領域と第２関心領域の両方が前記道路の一部を含むとの確認に応じて、前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の画像内容の比較に基づいて、前記第１カメラと第２カメラによって取得された画像を調和するために１つ又は複数の補正パラメータを決定すること（１１７）、
を含む、画像処理方法（１００）。
前記車両の前記進行方向を決定すること（１０１）、
前記進行方向に基づいて、第１画像（２００、４００）を取得するように、前記第１カメラと第２カメラの１つを選択すること、
前記選択されたカメラによって、第１時刻に前記第１画像（２００、４００）を取得すること（１０２、１０８）、
前記第１画像の少なくとも１つの第１関心領域（２０１、２０２；４０１、４０２）を選択すること（１０３、１０９）であって、前記第１関心領域は、道路の一部（５０、５１；６０、６１）を潜在的に囲む、選択すること（１０３、１０９）、
前記第１画像（２００、４００）から、前記少なくとも１つの第１関心領域（２０１、２０２；４０１、４０２）をサンプリングすること（１０４、１１０）、
前記第１時刻の後に、もう一方のカメラによって第２画像（３００、６００）を取得するための第２時刻を決定するために、前記第２画像（３００、６００）の第２関心領域（３０１、３０２；６０１、６０２）に前記潜在的な道路の一部（５０、５１；６０、６１）が含まれるように、前記車両（１１）が前記進行方向に沿って移動した距離を監視すること（１０５、１１１）、
前記もう一方のカメラによって、前記第２時刻に前記第２画像（３００、６００）を取得すること（１０６、１１２）、
前記第２画像（３００、６００）から前記第２関心領域（３０１、３０２；６０１、６０２）をサンプリングすること（１０７、１１３）、
前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の両方が道路の一部（５０、５１；６０、６１）を含むかを確認すること（１１６）、及び
前記第１関心領域と第２関心領域の両方が前記道路の一部を含むとの確認に応じて、前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の画像内容の比較に基づいて、前記第１カメラと第２カメラによって取得された画像を調和するために１つ又は複数の補正パラメータを決定すること（１１７）、
を含む、画像処理方法（１００）。
【請求項2】
前記第１カメラが、前記車両（１１）の後方カメラ（ＲＶ）であり、前記第２カメラは、前記車両に連結手段（１４）を介して接続されたトレーラ（１２）の後方カメラ（ＴＲ）である、請求項１に記載の方法。
【請求項3】
前記車両（１１）が前方向に移動していると決定することに応じて、前記第１時刻に前記第１画像（２００）を取得する（１０２）ように、前記第１カメラ（ＲＶ）を選択すること、及び、前記第１画像（２００）の前記第１関心領域又は少なくとも１つの第１関心領域（２０１、２０２）のそれぞれが、前記トレーラ（１２）と前記車両（１１）の間の道路空間を含むと知られた領域に対応する、請求項２に記載の方法。
【請求項4】
前記第１画像（２００）の前記第１関心領域又は少なくとも１つの第１関心領域（２０１、２０２）のそれぞれが、前記連結手段を囲む領域の傍にある、請求項３に記載の方法。
【請求項5】
前記少なくとも１つの第１関心領域を選択すること（１０３）は、
前記第１画像（２００）に少なくとも２つの第１関心領域（２０１、２０２）を定義することであって、前記トレーラ（１２）が長手軸（２０）に沿って前記車両（１１）に整列されたとき、１つ（２０１）は前記連結手段（１４）を囲む前記領域の第１側（５００）に、もう１つ（２０１）は前記連結手段（１４）を囲む前記領域の第２側（５１０）に、定義すること、
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むか否かを決定すること、
前記２つの第１関心領域（２０１、２０２）のいずれも、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含まないとの決定に応じて、前記第１画像（２００）からサンプリングされるように、前記２つの第１関心領域（２０１、２０２）の両方を選択すること（１０３）、及び
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むとの決定に応じて、前記第１画像（２００）からサンプリングされるように、前記もう一方の第１関心領域を選択すること（１０３）、
を含む、請求項４に記載の方法。
前記第１画像（２００）に少なくとも２つの第１関心領域（２０１、２０２）を定義することであって、前記トレーラ（１２）が長手軸（２０）に沿って前記車両（１１）に整列されたとき、１つ（２０１）は前記連結手段（１４）を囲む前記領域の第１側（５００）に、もう１つ（２０１）は前記連結手段（１４）を囲む前記領域の第２側（５１０）に、定義すること、
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むか否かを決定すること、
前記２つの第１関心領域（２０１、２０２）のいずれも、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含まないとの決定に応じて、前記第１画像（２００）からサンプリングされるように、前記２つの第１関心領域（２０１、２０２）の両方を選択すること（１０３）、及び
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むとの決定に応じて、前記第１画像（２００）からサンプリングされるように、前記もう一方の第１関心領域を選択すること（１０３）、
を含む、請求項４に記載の方法。
【請求項6】
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むか否かを決定することは、
前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部が、前記２つの第１関心領域（２０１、２０２）のいずれかに含まれるか否かを検出することを含む、請求項５に記載の方法。
前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部が、前記２つの第１関心領域（２０１、２０２）のいずれかに含まれるか否かを検出することを含む、請求項５に記載の方法。
【請求項7】
前記車両（１１）のステアリング角度、及び前記車両（１１）と前記トレーラ（１２）の間のヒッチ角度のうちの少なくとも１つを計測することを含み、
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むかを決定することは、前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つに基づいてなされる、請求項５に記載の方法。
前記２つの第１関心領域（２０１、２０２）のいずれかが、前記トレーラ（１２）と前記連結手段（１４）のうちの少なくとも１つの一部を含むかを決定することは、前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つに基づいてなされる、請求項５に記載の方法。
【請求項8】
前記車両（１１）が逆方向に移動していると決定することに応じて、前記第１時刻に前記第１画像（４００）を取得する（１０８）ように、前記第２カメラ（ＴＲ）を選択する、請求項２に記載の方法。
【請求項9】
前記第１画像（４００）の前記少なくとも１つの第１関心領域（４０１、４０２）に対応する前記潜在的な道路の一部（６０、６１）は、前記車両（１１）が前記逆方向に移動するとき、前記第１カメラ（ＲＶ）の前記視野（ＦＯＶ１）内で見られるようになる、請求項８に記載の方法。
【請求項10】
前記第１画像（４００）の前記少なくとも１つの第１関心領域（４０１、４０２）を選択することは、
少なくとも２つの関心領域（４０１、４０２）を定義することであって、前記トレーラ（１２）が長手軸（３０）に沿って前記車両（１１）に整列されたとき、１つ（４０１）は、前記連結手段（１４）を囲む前記領域の第１側（５００）で、前記第１カメラ（ＲＶ）の前記視野（ＦＯＶ１）内で見られるようになる、対応する第１道路の一部（６０）を含むように、もう１つ（４０２）は前記連結手段（１４）を囲む前記領域の第２側（５１０）に位置するように、定義すること、
前記車両（１１）のステアリング角度、及び前記車両（１１）と前記トレーラ（１２）の間のヒッチ角度のうちの少なくとも１つを計測すること、
前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つが閾値未満だと決定することに応じて、前記第１画像からサンプリングされるように、前記２つの第１関心領域（４０１、４０２）の両方を選択すること（１０９）、及び
前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つが閾値を超えると決定することに応じて、前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つに基づいて、前記２つの関心領域（４０１、４０２）のうちの１つを選択すること（１０９）、
を含む、請求項９に記載の方法。
少なくとも２つの関心領域（４０１、４０２）を定義することであって、前記トレーラ（１２）が長手軸（３０）に沿って前記車両（１１）に整列されたとき、１つ（４０１）は、前記連結手段（１４）を囲む前記領域の第１側（５００）で、前記第１カメラ（ＲＶ）の前記視野（ＦＯＶ１）内で見られるようになる、対応する第１道路の一部（６０）を含むように、もう１つ（４０２）は前記連結手段（１４）を囲む前記領域の第２側（５１０）に位置するように、定義すること、
前記車両（１１）のステアリング角度、及び前記車両（１１）と前記トレーラ（１２）の間のヒッチ角度のうちの少なくとも１つを計測すること、
前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つが閾値未満だと決定することに応じて、前記第１画像からサンプリングされるように、前記２つの第１関心領域（４０１、４０２）の両方を選択すること（１０９）、及び
前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つが閾値を超えると決定することに応じて、前記計測されたステアリング角度及びヒッチ角度のうちの少なくとも１つに基づいて、前記２つの関心領域（４０１、４０２）のうちの１つを選択すること（１０９）、
を含む、請求項９に記載の方法。
【請求項11】
前記第１カメラと第２カメラは、前記車両（１１）の前方カメラ（ＦＶ）及び後方カメラ（ＴＲ）である、請求項１に記載の方法。
【請求項12】
前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）内の画像データをＹＵＶフォーマットに変換すること（１１４）を含み、
前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の両方が前記道路の一部（５０、５１；６０、６１）を含むのか否かを決定することは、
前記第１関心領域（２０１、２０２；４０１、４０２）内の前記画像データの少なくとも一部から少なくとも１つの第１輝度成分と、前記第２関心領域（３０１、３０２；６０１、６０２）内の前記画像データの少なくとも一部から少なくとも１つの第２輝度成分を推定すること（１１５）、及び
前記推定された第１輝度成分と第２輝度成分との差を閾値と比較すること（１１６）、及び
前記差分が閾値未満であるとの決定に応じて、前記第１及関心領域及び第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の両方が前記道路の一部（５０、５１；６０、６１）を含むと確認すること、
を含む、請求項１～１１のいずれか一項に記載の方法。
前記第１関心領域と第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の両方が前記道路の一部（５０、５１；６０、６１）を含むのか否かを決定することは、
前記第１関心領域（２０１、２０２；４０１、４０２）内の前記画像データの少なくとも一部から少なくとも１つの第１輝度成分と、前記第２関心領域（３０１、３０２；６０１、６０２）内の前記画像データの少なくとも一部から少なくとも１つの第２輝度成分を推定すること（１１５）、及び
前記推定された第１輝度成分と第２輝度成分との差を閾値と比較すること（１１６）、及び
前記差分が閾値未満であるとの決定に応じて、前記第１及関心領域及び第２関心領域（２０１－３０１、２０２－３０２；４０１－６０１、４０２－６０２）の両方が前記道路の一部（５０、５１；６０、６１）を含むと確認すること、
を含む、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
前記第１及関心領域及び第２関心領域が前記道路の一部を含むとの前記確認に応じて、
前記推定された第１関心領域と第２輝度成分の間の前記差分に基づいて、前記第１カメラと第２カメラ（ＲＶ、ＴＲ）によって取得された画像の明るさを調和する１つ又は複数の明るさ補正パラメータを決定すること（１１７）、
前記第１関心領域（２０１、２０２；４０１、４０２）内の前記画像データの少なくとも一部から第１色度成分を、前記第２関心領域（３０１、３０２；６０１、６０２）内の前記画像データの少なくとも一部から第２色度成分を推定すること、及び
前記推定された第１色度成分と第２色度成分との間の差分に基づいて、前記第１カメラと第２カメラ（ＲＶ、ＴＲ）によって取得された画像の色を調和する１つ又は複数の色度補正パラメータを決定すること（１１７）、
を含む、請求項１２に記載の方法。
前記推定された第１関心領域と第２輝度成分の間の前記差分に基づいて、前記第１カメラと第２カメラ（ＲＶ、ＴＲ）によって取得された画像の明るさを調和する１つ又は複数の明るさ補正パラメータを決定すること（１１７）、
前記第１関心領域（２０１、２０２；４０１、４０２）内の前記画像データの少なくとも一部から第１色度成分を、前記第２関心領域（３０１、３０２；６０１、６０２）内の前記画像データの少なくとも一部から第２色度成分を推定すること、及び
前記推定された第１色度成分と第２色度成分との間の差分に基づいて、前記第１カメラと第２カメラ（ＲＶ、ＴＲ）によって取得された画像の色を調和する１つ又は複数の色度補正パラメータを決定すること（１１７）、
を含む、請求項１２に記載の方法。
【請求項14】
前記第１カメラと第２カメラ（ＲＶ、ＴＲ）によって取得された合成画像（７０１、７０２）を含む複合ビュー（７００）を生成することであって、前記生成することは、前記決定された１つ又は複数の調和補正パラメータを適用すること（１１８）を含む、請求項１～１３のいずれか一項に記載の方法。
【請求項15】
車両（１１）に接続された第１カメラ（ＲＶ、ＦＶ）と第２カメラ（ＴＲ、ＲＶ）であって、前記車両が進行方向に沿って移動する異なる時刻において、それらの視野（ＦＯＶ１、ＦＯＶ２）が同じ道路空間（１８）を含むように構成される、第１カメラ（ＲＶ、ＦＶ）と第２カメラ（ＴＲ、ＲＶ）、及び
請求項１～１４のいずれか一項に記載の前記方法（１００）を遂行するように構成された１つ又は複数の処理ユニット（１５）、
を含む車両用マルチカメラビジョンシステム。
請求項１～１４のいずれか一項に記載の前記方法（１００）を遂行するように構成された１つ又は複数の処理ユニット（１５）、
を含む車両用マルチカメラビジョンシステム。
【請求項16】
車両（１１）とトレーラ（１２）の組み合わせであって、請求項１５のマルチカメラビジョンシステムを含み、前記第１カメラは前記車両（１１）の前記後方カメラ（ＲＶ）であり、前記第２カメラは前記トレーラ（１２）の前記後方カメラ（ＴＲ）である、車両とトレーラの組み合わせ。
【請求項17】
請求項１５に記載の車両用マルチカメラビジョンシステムによってコンピュータプログラムを実行するとき、前記システムに、請求項１～１４のいずれか一項に記載の方法（１００）を遂行させる指示を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に接続され、且つ、重なり合わない視野を有する２つ以上のカメラによって取得された画像を調和させる方法に関する。
【背景技術】
【0002】
車両の周りの環境の画像を撮像するために、車両の前方、後方、及び左右のサイドミラーに配置された多数のカメラを含むマルチカメラ自動車ビジョンシステムを車両に設けることが知られている。
【0003】
これらのカメラからの画像は、通常、車両の運転者に支援を提供するため、車両のキャビン内に配置されたディスプレイまたはフロントガラスに１つ又は複数の処理された画像を提供する前に、様々な作業の中で、画像を処理するプロセッサを備える電気制御ユニット（ＥＣＵ：electronic control unit）に中継される。
【0004】
運転者に表示される前、又は自動・半自動車両駆動などの他のアプリケーションに使われる前に、車両ＥＣＵによって複数のカメラから受信した入力画像を合成させることにより、異なる種類の視野が生成され得る。特に、入力カメラ画像からの関心領域が、先ず対象のビューポートに再マッピングされ、次に併合されることができ、その結果、車両の周りの環境の特定の選択された３Ｄ点からの視野を表すモザイク画像を生成する。例えば、仮想カメラが中央上部からの眺めで車両の上に設けられ、カメラ画像の関心領域に対応する入力カメラテクスチャが平坦な２Ｄ平面に対応する表面ビューポートに投射され、通常上面視（又は鳥瞰視）と言われる、車両の上面と車両の周りの環境を示すモザイク視野を生成するように併合される。、多次元視野（例えば、平坦な２Ｄ平面以外に椀型２Ｄ投影が使われる３Ｄボウル視野）などの他の併合された視野が、車両ＥＣＵのレンダリング機能を使って生成され得る。
【0005】
各車両カメラはそれぞれのレンズ、画像センサ、そして多くの実装において、独立した画像信号処理チェイン（したがって、車両カメラは異なる露光又はゲインコントロール、異なるホワイトバランス等を有し得る）を有する。さらに、各車両カメラは異なる方向を向き、車両環境の異なる領域を見ている。
【0006】
そのため、各車両カメラによって取得された明るさと色相は、車両カメラの制約（レンズ、画像センサ等）と異なる向きによって若干異なる場合がある。これらの色と明るさとの若干の差は、表示される合成視野の視覚的品質に悪影響を与え、車両の周りの３Ｄ点における仮想カメラに対応する視野の、錯視を危うくする。
【0007】
併合された視野の視覚的品質を向上するために、一般的に、明るさと色の調和が適用される。特に、重なり合う視野を有する２つの車両カメラの間の調和は、調和の基準として、カメラによって撮像された共通の地面領域を用いて達成される。例えば、前方カメラと右サイドミラーカメラの間の調和は、これらカメラの視野が重なり合う角の道路領域を用いて達成され得る。
【0008】
例えば、ＷＯ２０１８／０８７３４８（Ｒｅｆ：ＳＩＥ０４２６）は、併合された入力画像の輝度Ｙ及び色値Ｕ、Ｖを示すヒストグラムを用いて車両の周りの環境の合成画像の明るさと色を調和する方法を開示している。
【0009】
車両に、車両がトレーラを牽引させるヒッチが設けられていることがさらに知られている。トレーラ（当該トレーラによって輸送される物体も含む）は、トレーラの周りの殆どの領域を視認できないため、トレーラが運転者にとって大きな死角となり、特に未熟な運転者が補助なしでトレーラを備える車両を後進させることは難しい。したがって、このようなトレーラには、トレーラの後方へ（及び、場合によってはトレーラの各側面から外向きのトレーラ側面カメラ）向けられた後方カメラを組み込むことも知られている。これらのカメラからの画像はトレーラ内のコントローラによって取得されることができ、運転者を補助する向上されたディスプレイを生成するように車両ＥＣＵに提供され得る。場合によっては、任意のトレーラカメラが車両ＥＣＵに直接接続され得る。
【0010】
例えば、車両ＥＣＵは、車両後方カメラ及びトレーラ後方カメラによって取得された画像を併合することで不可視トレーラ視野が生成され得る。特に、不可視トレーラ視野は、後方カメラによって取得された画像の関心領域を対象ビューポート（不可視トレーラビューポート）に再マッピングし、再マッピングされた関心領域を併合することで構築される。このように、車両ディスプレイやウィンドスクリーンを介して、トレーラが実質的に見えない後方視野が運転者に提供される。例えば、ＷＯ２０２１／０３２４３４（Ｒｅｆ：２０１９ＰＦ００３０７）は、車両の後方カメラから第１カメラ画像を、車両のトレーラに接続されたトレーラの後方カメラから第２カメラ画像を生成することを開示している。車両とトレーラの間のヒッチ角度に依存して第２カメラ画像が第１カメラ画像の一部をカバーするように、これらカメラ画像を重ねることで不可視トレーラ視野が生成される。
【0011】
他のアプリケーションでは、車両及び接続されたトレーラの後方カメラから取得された画像を併合することを必要とし得る。例えば、ＤＥ１０２０１９１３３９４８（Ｒｅｆ：Ｖ２５－２１０３－１９ＤＥ）は、運転者に表示する、車両とトレーラの組み合わせの周りの環境の３Ｄ視野を構築するように、車両とトレーラの組み合わせの複数のカメラを用いることを開示している。
【0012】
トレーラと組み合わされた車両の運転者を補助するために生成された併合された視野において、明るさ及び／又は色の不一致は、車両及び接続されたトレーラの後方カメラによって取得された画像の併合領域で運転者に視認され得る。しかし、これらカメラは、それらの視野が共通地面領域を覆うように重なり合わず配置されている。したがって、車両及び接続されたトレーラの後方カメラを調和する、信頼できる共通基準は存在しない。
【0013】
同様に、車両（トレーラの有無にかかわらず）の前方及び後方カメラによって取得された画像を調和する信頼できる基準として利用可能な共通グラウンドも存在しない。
【発明の概要】
【0014】
本発明によれば、請求項１における、車両に接続され、且つ、同時に重なり合わない視野を有する第１カメラと第２カメラによって取得された画像を調和する方法が提供される。
【0015】
本発明の実施形態では、第１カメラと第２カメラが与えられた時刻に同じ道路の一部を取得できないが、第１カメラと第２カメラは、車両が進行方向に沿って移動している異なる時刻において同じ道路の一部を撮像することができ、これを第１カメラと第２カメラによって撮像された合成画像を含む視野を調和させるための、信頼できる指標として有利に用いられるとの認識に基づく。例えば、調和された視野は、第１カメラと第２カメラが車両の後方カメラと車両によって牽引されるトレーラの後方カメラである実施形態における不可視トレーラ視野であり得る。他の実施形態において、第１カメラと第２カメラは車両の前方及び後方カメラであり得る。
【0016】
より詳しくは、発明の実施形態は、車両の決定された方向に基づいて選択された第１カメラと第２カメラのうちの１つによって、第１時刻に、取得された第１画像から、少なくとも１つの第１関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）をサンプリングすることに係る。第１ＲＯＩは、撮像されたシーン内の基準の道路の一部を含むように第１画像において定義される。第２ＲＯＩは、第１時刻の後に監視された車両の移動距離に従って第２ＲＯＩも基準の道路の一部を含むように、第２時刻にもう一方のカメラによって取得された第２画像からサンプリングされる。サンプリングされたＲＯＩ内の画像データの間の比較に基づいて、第１カメラと第２カメラによって取得された画像を調和させるための１つ又は複数の補正パラメータが決定される。
【0017】
いくつかの実施形態で、第１ＲＯＩと第２ＲＯＩ内の画像データは、ＹＵＶフォーマットに変換された後に比較される。これらの実施形態において、ＲＯＩが撮像されたシーン内に異なる対象を含む場合（例えば、第２画像の取得時の前に対象物が基準の道路の一部の上に移動した又は基準の道路の一部を超えた、又は基準の道路の一部を離れたため）、推定された輝度値Ｙの差分が有意であるとの認識に基づいて、これらＲＯＩが実際に同じ基準の道路の一部を含むか否かを判定する目的として、第１ＲＯＩと第２ＲＯＩについて推定された輝度値Ｙの差分が閾値と比較される。
【0018】
本発明の更なる態様は、自動車用マルチカメラビジョンシステム、車両とトレーラの組み合わせ又は車両、及び本発明における方法を実行するように構成されたコンピュータプログラム製品を含む。
【図面の簡単な説明】
【0019】
本発明の実施形態は、例として、添付の図面を参照しながら説明される。
【図1】本発明におけるマルチカメラビジョンシステムを含む車両とトレーラの組み合わせを示す図。
【図3A】前方向に沿って進む車両を示す図。
【図3B】前方向に沿って進む車両を示す図。
【図5A】逆方向に進む車両を示す図。
【図5B】逆方向に進む車両を示す図。
【実施形態の詳細な説明】
【0020】
図１を参照すると、本発明の実施形態における画像調和方法を遂行するように構成されたマルチカメラビジョンシステムを含む、車両１１とトレーラ１２の組み合わせが示されている。
【0021】
車両１１には、車両１１が、例えば図１に示されたようなトレーラ１２などの物体を牽引することを可能にするヒッチ１３が設けられている。特に、トレーラ１２はドローバ１４を介して、車両１０とトレーラ１２の間にヒッチ角度が存在するように（車両１０が曲がった軌跡に沿って移動するトレーラ１２を牽引するとき）ヒッチ１３に引っかけられる。
【0022】
なお、図１に示されたトレーラ１２は、車両１０によって牽引され得るいくつかの種類のトレーラの単なる非限定的な例であることに留意されたい－他の例はキャラバンや馬車も含む。このように、本願においては車両１０によって牽引される任意の物体がトレーラとして参照される。このように、トレーラが運転者の後方視野を遮蔽する物体を輸送するためのプラットフォームとして用いられる場合（例えば、船を運ぶボートトレーラやバイクを運ぶバイクトレーラ）、本願の目的のため、運ばれる物体は牽引されるトレーラの一部として扱われる。なお、図１に示された車両１１も、トレーラを牽引できる様々な種類の車両（トラックやトラクタ等）の単なる非限定的な例であることに留意されたい。したがって、トレーラを車両に繋ぐ連結手段は、図１に示されたヒッチ１３とドローバ１４とは異なってもよい。
【0023】
マルチカメラビジョンシステムは、車両の周りの環境の画像を撮像するために、車両の前方（ＦＶカメラ）、後方（ＲＶカメラ）、及び左右サイドミラー（ＭＬ、ＭＲカメラ）に配置された複数のカメラを含む。サイドカメラがミラー上に配置される必要はなく、これらは車両の側面の環境からの画像を取得できる任意の適合した場所に配置され得る。
【0024】
システムは、トレーラ１２の後方に向けられたトレーラ後方カメラ（ＴＲカメラ）をさらに備える（そして、場合によっては、トレーラ１２の各側面から外に向かうサイドカメラも含み得る）。そのため、図１に示されたように、車両カメラＲＶとトレーラカメラＴＲの視野ＦＯＶ１とＦＯＶ２は、車両１１が移動している道路１８の共通部分で、所与の時刻に重なり合わない。これはＦＯＶ１、ＦＯＶ２がシーンの一部の領域で重なり合い得ることを除外はしないが、これらの共通領域は均一でなく変動するため、カメラＲＶ、ＴＲの画像調和のためには信頼できない。
【0025】
システムは、車両カメラＦＶ、ＲＶ、ＭＲ、ＭＬにより取得された画像を受領するように構成されたアプリケーションを実行する車両ＥＣＵ１５、及びトレーラカメラＴＲによって（存在するならトレーラサイドカメラによっても）取得された画像を収集するように構成された、トレーラ１２内のコントローラ１６を含む。トレーラコントローラ１６によって収取された画像は、ストリーミング、又は無線・有線接続を介して車両ＥＣＵ１５に提供される。場合によっては、任意のトレーラカメラが車両ＥＣＵ１５に直接接続されてよい。
【0026】
車両ＥＣＵ１５のプロセッサは、処理されたイメージを車両１１のキャビン内に配置されたディスプレイ２２やフロントガラスに提供することを目的として、車両とトレーラカメラＦＶ、ＲＶ、ＭＲ、ＭＬ、ＴＲから取得された画像を処理するように構成される。このようなカメラ情報も、車両の自律・半自律的な運転、駐車、又はブレーキ、及び、例えば、１つ又は複数のカメラにより撮像された画像のストリームを、後に取得するためのダッシュカムやセキュリティ映像として記憶するために、ＥＣＵ１５によって処理され得る。
【0027】
ＥＣＵ１５（又は車両１１内の他の処理ユニット）は、（図１において符号１７として概略的に表示され、累積的に示された）オドメトリセンサによって提供されたセンサデータを処理することによって、車両１１が時間によって移動した距離も推定できる。例えば、オドメトリセンサ１７は、ホイール及びステアリング角度のいくつかによって移動された空間を測定するセンサを含み得る。センサ１７によって提供されたセンサデータに加えて又は代えて、車両１１の位置の時間的変化はＧＰＳ追跡を用いて推定されてよい。
【0028】
図２を参照して、システム内で動作できる画像調和方法１００が開示される。
【0029】
方法ステップ１０１において、例えばオドメトリセンサ１７及び／又はＧＰＳ位置追跡情報を用いて車両１１の進行方向が決定される。
【0030】
図３Ａを参照すると、ステップ１０１の決定において、車両１１が長手軸２０によって示される実質的に直線の方向に沿って前進する場合がまず考慮される。図３Ａにおいて、ＲＶカメラの視野ＦＯＶ１は、それぞれトレーラドローバ１４の第１側５００と第２側５１０の傍の、それぞれ車両１１とトレーラ１２の間の間隔の第１の道路の一部５０と第２の道路の一部５１をカバーする。このように、これら道路の一部５０、５１は、トレーラ１２やドローバ１４によって遮蔽されないため、ＲＶカメラによって撮像されてカメラＦＶ、ＲＶ（これはより詳しく説明される）を調和させる目的のための信頼できる基準の道路の一部としてサンプリングされ得る。なお、本願において、基準の道路の一部は舗装道路の一部だけでなく、車両が均一的な色とテクスチャを有し得る地面の任意の一部（例えば、高速道路、通り、田舎道、ピッチ、の一部）を含むことに留意されたい。
【0031】
車両１１が図３Ａに示された前方向に沿って移動しているとの決定に応じて、ＲＶカメラは、図３Ａに示された車両１１の位置に対応する第１時刻ｔ１に第１画像を取得するように選択される（ステップ１０２）。図４Ａは、ｔ１にＲＶカメラによって取得された画像２００を示す。
【0032】
次に、２つのＲＯＩ２０１、２０２は、画像２００からサンプリングされるように選択される（ステップ１０３）。特に、ＲＯＩ２０１、２０２は、ドローバ１４の傍の、それぞれ道路の一部５０及び５１に対応するように、取得された画像２００内に位置され寸法付けられる。
【0033】
ここで、２つのＲＯＩ２０１、２０２を選択する方法の一例が開示される。
【0034】
車両ＥＣＵ１５がｔ１に取得された画像２００を受領すると、ＥＣＵ１５は、トレーラ１２が長手軸に沿って車両１１に実質的に整列されていると仮定し、ドローバ１４の傍の道路の一部５００、５１０が含まれると予想される２つのＲＯＩ２０１、２０２をチェックするように構成される。
【0035】
例えば、ＥＣＵ１５は、トレーラ１２が車両１１に実質的に整列されたとき、トレーラ１２とドローバ１４によって占められた画像エリアを知ることでこれらＲＯＩ２０１、２０２を定義するように構成される。１つの実装において、ＥＣＵ１５は、ＲＶカメラにより取得され、且つ、車両１１と整列されたトレーラ１２を含む、画像のセット内のトレーラ１２とドローバ１４を検出することでこのエリアを学習することができる。これは高精度のＲＯＩ（位置と大きさ）の提供を可能とするが、この方式は実装において煩雑さを加えることを理解されたい。或いは、ＥＣＵ１５は車両１１とドローバ１４の寸法パラメータ（例えば、少なくとも車両１１の幅とドローバ１４の長さ）を知ることでこのエリアを推定することもできる。この情報は、ユーザの入力からこの情報を受領する、トレーラ１２とドローバ１４のスキャンを受領する、又はネットワーク接続などを介して車両のＣＡＤデータを取得するなど、様々な方法でＥＣＵ１５に提供され得る。いずれの場合でも、既定のＲＯＩ位置は、車両ＣＡＤからの車両１１上のカメラＲＶの既知の位置と車両１１の既知の幅（これもまた車両ＣＡＤから取得できる）から決定され得る。これは適切なドローバの最短の長さを示し、ドローバは、少なくとも車両の幅の半分以上であるべきである。これは、ＲＯＩの既定の位置が、最低限のユーザ入力と処理能力で決定されることを可能とする。
【0036】
次に、ＥＣＵ１５は、チェックされたＲＯＩ２０１、２０２のいずれかが（画像取得時刻ｔ１における車両のステアリングによって）ドローバ１４又はトレーラ１２の一部を含むか否かを決定する。一実施形態において、ＥＣＵ１５は、ＲＯＩ２０１、２０２に画像検出を適用し、ＲＯＩ２０１、２０２のいずれかがドローバ１４又はトレーラ１２の一部を含むか否かを検出する。別の実施形態において、ＥＣＵ１５は、センサ１７及び／又はＧＰＳ位置情報によって提供されるオドメトリデータを用いて画像取得時刻ｔ１に車両１１のステアリング角度を測定し、測定された角度を閾値と比較する。測定されたステアリング角度が閾値未満（ヌル値を含む）であるとの決定に応じて、ＥＣＵ１５はＲＯＩ２０１、２０２のいずれもドローバ１４又はトレーラ１２の一部を含まないと決定する。加えて、又は代替として、ＥＣＵ１５が車両１１とトレーラ１２の長手軸の間の測定されたヒッチ角度を用いることで同様の決定がなされ得る。この角度は、例えば、ヒッチ１４を通る長手軸の周りでトレーラ１２の回転を検出するように、取得された画像２００からの画像情報を用いることなど、任意の数の方法で測定され得る。同様に、車両ミラーカメラＭＬ、ＭＲからの画像情報は、車両とトレーラの相対角度を推定するために、それぞれの視野内で横方向に移動しているトレーラの表面からの特徴を検出し得る。車両とトレーラの相対角度を決定する他の手法は、車両１１の後方に設けられる後向きの超音波又はレーダセンサからの情報を用いること（ここで、センサによって測定された差分の変化は、車両１１とトレーラ１２の相対角度の変化を通知する）を含む。
【0037】
図４Ａに示された画像２００を再び参照すると、ＥＣＵ１５は、チェックされたＲＯＩ２０１、２０２のいずれもドローバ１４又はトレーラ１２の一部を含まないと決定する。この決定に応じて、ＲＯＩ２０１、２０２は画像２００からサンプリングされるように選択される（ステップ１０３）。
【0038】
さらに、図４Ａから、選択されたＲＯＩ２０１、２０２は、一日の任意の時刻と光の状態においても、ドローバ１４によって（及びトレーラ１２によって）投影された影に影響されるとしても最低限になるように、ドローバ１４の各側５００、５１０から離間された道路の一部５０、５１に対応するように定義されることに留意されたい。
【0039】
図３Ａを再び参照すると、ｔ１において車両１１が、直線の軌跡に沿って前進する代わりに、右にステアリングされていたら、ステアリング角度は、ｔ１にＲＶカメラによって取得された画像内でドローバ１４の左側５００の傍の道路の一部５０のみが視認できるものになってもよいことをさらに理解されたい。同様に、ｔ１に車両が左にステアリングされていたら、ステアリング角度は、ｔ１にＲＶカメラによって取得された画像内でドローバ１４の右側５１０の傍の道路の一部５１のみが視認できるものになってもよい。
【0040】
これらの場合、方法ステップ１０３は、ステアリング方向におけるＲＶカメラによって撮像され得る道路の一部５０、５１に対応するＲＯＩ２０１、２０２のうちの１つのみを選択することを含む。
【0041】
他の実施形態において、ＥＣＵ１５がｔ１にＲＶカメラによって取得されたが画像を受信すると、ＥＣＵ１５は、トレーラ１２とドローバ１４によって占められた画像エリアを決定するようにトレーラ１２とドローバ１４の検出を遂行し、ドローバ１４の側５００、５１０の傍のそれぞれの道路の一部５０、５１を含み得る検出された範囲の周りのうちの１つ又は複数のＲＯＩ２０１、２０２を選択し得る。いくつかの他の実施形態において、例えばテクスチャ志向の方法を用いて、又は画素強度を評価することによって、ＲＯＩの選択は撮像されたシーン内の道路の一部の検出に基づいてなされてよい。
【0042】
さらに、上記の記載された実施形態は、取得時刻ｔ１にＲＶカメラによって取得された画像からドローバ１４の傍の道路の一部５０、５１をサンプリングすることに基づくが、加えて、又は代替として、トレーラ１２の傍のＲＶカメラの視野ＦＯＶ１内で見られる道路の一部も画像調和の基準としてサンプリングされ得ることを理解されたい。この場合、ＲＯＩの選択にはトレーラが道路１８へ投影する影も考慮されるべき（図４Ａでみられるように、トレーラが投影する影は太陽の向きによっては周りの道路の一部をカバーする場合があるため）である。
【0043】
方法１００の説明は、２つのＲＯＩ２０１、２０２が図４Ａに示された画像２００からサンプリングされるように、方法ステップ１０３で選択される場合に戻って参照し続ける。それにもかかわらず、次の開示は、方法ステップ１０３でＲＯＩ２０１、２０２のうちの１つだけが（ステアリングのため）選択される場合にも適用され得る。
【0044】
選択されたＲＯＩ２０１、２０２は画像２００からサンプリングされ（ステップ１０４）、それぞれの画像データは、システムのメモリ内やシステムによって接近可能な他の記憶手段（例えばネットワーク接続を介してシステムによってアクセス可能なデータベースやサーバ）に記憶される。
【0045】
次に、方法ステップ１０５で、画像２００の取得時刻ｔ１の後に車両１１が移動した距離は、画像２００からサンプリングされたＲＯＩ２０１、２０２に対応する同じ道路の一部５０、５１が第２画像に定義される対応するＲＯＩに含まれるように、トレーラ１２のＴＲカメラによって第２画像を取得する第２時刻ｔ２を決定するように監視される。移動距離は、センサ１７及び／又はＧＰＳ移動距離から提供されるオドメトリデータを用いて監視され得る。
【0046】
例えば、図３Ｂは、車両１１が図３Ａに示された位置からさらに前方向に沿って移動し、道路の一部５０、５１のそれぞれがＴＲカメラの視野ＦＯＶ２内で視認できるように（移動距離ｄｘを移動している間、シーン内に移動してくる物体によって遮蔽されないとき）距離ｄｘをカバーしていることを示す。
【0047】
移動距離ｄｘに対応する時刻ｔ２が決定され、画像３００がｔ２にＴＲカメラによって取得される（ステップ１０６）。取得された画像３００は図４Ｂに示され、移動距離ｄｘによって道路の一部５０、５１が含まれると予想される２つのＲＯＩ３０１、３０２を含む（図４Ｂの例では、物体が道路の一部５０、５１を遮蔽しないため、ＲＯＩ３０１、３０２は道路の一部５０、５１を実際に含む）。
【0048】
なお、図３Ａ－３Ｂに戻って、カメラＲＶとカメラＴＲが路面上で同じ高さ、及び路面に対して同じ相対角度にあり、且つ同じ投影モデルを有する場合、移動距離ｄｘはＲＶカメラとＴＲカメラの間の距離Ｄ（トレーラ１２とドローバ１４の長さの和に実質的に対応する）とほぼ等しい。この場合、図４Ｂ－４Ａを参照して、ＲＯＩ３０１、３０２は、画像２００及びＲＯＩ２０１、２０２の画素エリア内に実質的に対応する、画像３００内の位置の画素エリアであると定義され得る。これはサンプリングされたＲＯＩ２０１、２０２内の画像データとサンプリングされたＲＯＩ３０１、３０２内の画像データとの比較性を向上する。したがって、カメラＲＶとカメラＴＲの相対位置、高さ、及び／又は投影モデルが異なる場合、それに応じて距離ｄｘが変わり、及び／又はＲＯＩ２０１、２０２及び３０１、３０２が互いに異なる手法でマッピングされる必要があることを理解されたい。
【0049】
いずれの場合も、道路の一部５０、５１が依然としてＴＲカメラの視野ＦＯＶ２内で視認できる限り、ＴＲカメラのために決定された取得時刻ｔ２はｄｘを超過する又は未満の移動距離に対応され得る。
【0050】
ｔ２に画像３００を取得した後、ＲＯＩ３０１、３０２はサンプリングされ（ステップ１０７）、それぞれの画像データはシステムのメモリ（又はシステムによってアクセス可能な他の記憶手段）内に記憶される。
【0051】
最初の方法ステップ１０１に戻って、車両１１の方向が逆方向であるとの決定に応じて方法１００の動作が開示される。
【0052】
特に、図５Ａを参照すると、ステップ１０１の決定において、車両１１が長手軸３０に対応する実質的に直線の方向に沿って後進する場合が考慮される。図５Ａで、ＴＲカメラの視野ＦＯＶ２は、車両１１が（図５Ｂに示されたように）逆方向に進むにつれて、ドローバ１４の側の傍５００、５１０のＲＶカメラの視野ＦＯＶ１内で視認され得る、車両１１とトレーラ１２の間の間隔内の第１道路の一部６０と第２道路の一部６１をカバーする。このように、道路の一部６０、６１がトレーラ１２やドローバ１４によって遮蔽されなくなるため、ＴＲカメラとＲＶカメラの両方によって異なる時刻にサンプリングされ、画像調和のための信頼できる基準として用いられることができる。
【0053】
車両１１が図５Ａに示された逆方向に沿って移動しているとの決定に応じて、ＴＲカメラは、図５Ａに示された車両１１の位置に対応する第１時刻ｔ１に第１画像を取得するように選択される（ステップ１０８）。図６Ａは、ｔ１にＴＲカメラによって取得された画像４００を示す。
【0054】
次に、２つのＲＯＩ４０１、４０２が画像４００からサンプリングされるように選択される（ステップ１０９）。特に、ＲＯＩ４０１、４０２は道路の一部６０、６１を含むように取得された画像４００内に位置され寸法決めされる。
【0055】
ここで、２つのＲＯＩ４０１、４０２を選択する例示的な方法が記載される。
【0056】
車両ＥＣＵ１５がｔ１に取得された画像４００を受信すると、ＥＣＵ１５は、トレーラ１２が長手軸に沿って車両１１に実質的に整列されたと仮定し、ドローバ１４の側５００、５１０の傍のＲＶカメラによって視認できる道路の一部に対応する２つのＲＯＩ４０１、４０２をチェックするように構成される。例えば、ＥＣＵ１５は、トレーラ１２が車両１１と実質的に整列されるとき、トレーラ１２とトレーラドローバ１４によって占められた画像エリアを知ることで、これらＲＯＩ４０１、４０２を定義するように構成される。
【0057】
それから、ＥＣＵ１５は車両１１が実質的に直線の軌跡に沿って後進しているか否かを決定する。例えば、ＥＣＵ１５は、画像取得時刻ｔ１に、センサ１７及び／又はＧＰＳ位置情報によって提供されるオドメトリデータを用いて、車両１１のステアリング角度又は車両１１とトレーラ１２の間のヒッチ角度を測定し、測定された角度を閾値と比較する。測定されたステアリング角度又はヒッチ角度が閾値未満の値（ヌル値を含む）であるとの決定に応じて、ＥＣＵ１５は車両１１が直線方向に沿って後進していると決定する。この決定に応じて、ＥＣＵは画像４００からサンプリングされる２つのＲＯＩ４０１、４０２を選択する。
【0058】
図５Ａに戻って、ｔ１において、直線の軌跡に沿って後進する代わりに、車両１１が右にステアリングしながら後進する場合、車両１１が逆方向に進みながら、道路の一部６０のみがドローバ１４の側５００の傍のＲＶカメラの視野ＦＯＶ１内で視認できるようになり得るようなステアリング角度になり得ることを理解されたい。同様に、ｔ１において、直線の軌跡に沿って後進する代わりに、車両１１が左にステアリングしながら後進すると、ステアリング角度が、車両１１が逆方向に進みながら、道路の一部６１のみがドローバ１４の側５１０の傍のＲＶカメラの視野ＦＯＶ１内で視認できるようになり得るようなステアリング角度になり得る。
【0059】
これらの場合、方法ステップ１０９は、ステアリング方向におけるＲＶカメラによっても撮像され得る道路の一部６０、６１に対応するＲＯＩ４０１、４０２のうちの１つのみを選択することを含む。
【0060】
方法１００の説明は、ステップ１０９で、図６Ａに示された画像４００からサンプリングされるように２つのＲＯＩ４０１、４０２が選択される場合を参照し続ける。それにもかかわらず、次の開示は、（ステアリングのため）１つのＲＯＩのみが方法ステップ１０９でサンプリングされるように選択される場合にも適用される。
【0061】
ＲＯＩ４０１、４０２は、画像４００からサンプリングされ（ステップ１１０）、それぞれの画像データはシステム内のメモリ（又はシステムによってアクセス可能な他の記憶手段）に格納される。
【0062】
次に、方法ステップ１１１において、画像４００の取得時刻ｔ１の後の車両１１の移動距離は、（ＴＲカメラによって取得された）画像４００からサンプリングされたＲＯＩ４０１、４０２に対応する道路の一部６０、６１が第２画像に定義された対応するＲＯＩに含まれるように、車両１１のＲＶカメラによって第２画像を取得する第２時刻ｔ２を決定するために監視される。
【0063】
例えば、図５Ｂは、車両１１が図５Ａに示された位置から逆方向に沿ってさらに移動し、道路の一部６０、６１がそれぞれＲＶカメラの視野ＦＯＶ１内で視認できるように（移動距離ｄｘを移動している間にシーン内に移動している物体によって遮蔽されない場合）距離ｄｘ進むことを示す。移動距離ｄｘに対応する時刻ｔ２が決定され、ｔ２においてＲＶカメラによって画像６００が取得される（ステップ１１２）。
【0064】
取得された画像６００は図６Ｂに示され、移動距離ｄｘにしたがって道路の一部６０、６１が含まれると予想される（図６Ｂの例において、道路の一部６０、６１を遮蔽する物体がないため、ＲＯＩ６０１、６０２がこれらの一部６０、６１を実際に含む）撮像されたドローバ１４の側５００、５１０の傍の２つのＲＯＩ６０１、６０２を含む。
【0065】
なお、図５Ａ－５Ｂに戻ると、道路の一部６０、６１は、ｔ２における同じ道路の一部６０、６１とＲＶカメラとの間の取得距離とほぼ同じ取得距離で、ｔ１に、ＴＲカメラによって撮像される。このように、ｔ１に、一部６０、６１のうちの１つを遮蔽する物体がある可能性が減る。さらに、図６Ａ－６Ｂを参照すると、ＲＯＩ４０１、４０２は、画像６００及びＲＯＩ６０１、６０２の画素エリアに実質的に対応する、画像４００内の位置の画素エリアであると定義される。
【0066】
方法１００は、画像６００からＲＯＩ６０１、６０２をサンプリングすることで次に進み（ステップ１１３）、それぞれの画像データはシステムのメモリ（又はシステムによってアクセス可能な他の記憶手段）内に記憶される。
【0067】
簡潔さのため、方法１００の（最初のステップ１０１で前方向の決定に続く）ステップ１０２－１０７の動作においてサンプリングされたＲＯＩ２０１、２０２、３０１、３０２のみを参照した、方法１００の実行による調和処理が開示される。なお、本開示の原理は、方法１００の（最初のステップ１０１で逆方向の決定に続く）ステップ１０８－１１３においてサンプリングされたＲＯＩ４０１、４０２、６０１、６０２に基づく調和処理の動作にも同様に適用されることに留意されたい。
【0068】
（ｔ１にＲＶカメラによって取得された画像２００から抽出された）サンプリングされたＲＯＩ２０１、２０２の画像データ、及び（ｔ２にＴＲカメラによって取得された画像３００から抽出された）サンプリングされたＲＯＩ３０１、３０２の画像データは、システムのメモリ（又はシステムによってアクセス可能な他の記憶手段）から取り戻され、（車両ＥＣＵ１５又はシステムの他の処理ユニットによって実装される）調和ネットワークに提供され、取り戻された画像データがＹＵＶフォーマットに変換されていない場合、変換される（ステップ１１４）。
【0069】
次に、輝度成分Ｙ１とＹ２がＲＯＩ２０１、２０２の画素データから推定され、輝度成分Ｙ３とＹ４がＲＯＩ３０１、３０２の画素データから推定される（ステップ１１５）。Ｙ１乃至Ｙ４を推定することには、様々な方法が使われ得る。例えば、ＲＯＩ２０１、２０２、３０１、３０２の輝度を説明するために生成されたヒストグラムに基づいてＹ１乃至Ｙ４を推定するいくつかの手法は、上記のＷＯ２０１８／０８７３４８に開示される（非セグメント化（ｎｏｎ－ｓｅｇｍｅｎｔａｔｉｏｎ）ベースの方法、ヒストグラムセグメント化ベースの方法、及び二峰性（ｂｉ－ｍｏｄａｌ）ヒストグラムセグメント化ベースの方法を含む）。
【0070】
異なる撮像された物体の輝度が著しく異なるとの理解に基づき、ＲＯＩ２０１、３０１の推定Ｙ１とＹ３との間の差分が、これらＲＯＩ２０１、３０１の両方が同じ基準の道路の一部５０を含むか否かを確認する目的で、閾値と比較される（ステップ１１６）。
【0071】
Ｙ１－Ｙ３の絶対値が閾値未満であるとの決定に応じて、この少ない差分はＲＶカメラとＴＲカメラの明るさ調和が足りないことによると推定される。このように、ＲＯＩ２０１、３０１内の画像データは同じ基準の道路の一部５０に属すると確認される。
【0072】
Ｙ１－Ｙ３の絶対値が閾値を超過するとの決定に応じて、ＲＯＩ２０１、３０１内の画像データは異なる撮像された物体に属すと決定される。例えば、これは、ＲＯＩ２０１、３０１が抽出された画像２００、３００の取得時刻ｔ１とｔ２の間に物体（他の車両や人など）が道路の一部５０に移動した場合に該当し得る。別の場合では、物体はｔ１に道路の一部５０を覆い、取得時刻ｔ１－ｔ２の間に一部５０から去ることもあり得る。
【0073】
Ｙ２とＹ４との差分を閾値と比較することによって、２つのＲＯＩ２０２、３０２の両方が同じ基準の道路の一部５１を含むか否かを検証するために、同様の検証が遂行される（ステップ１１６）。
【0074】
差分Ｙ１－Ｙ３とＹ２－Ｙ４のうちの少なくとも１つの絶対値が閾値未満であるとの決定に応じて、このような差分は車両１１のＲＶカメラとトレーラ１２のＴＲカメラによって取得された画像の明るさを調和する補正パラメータを決定するために用いられる（ステップ１１７）。輝度の差分の値に基づいて明るさ補正パラメータを決定するように、ＷＯ２０１８／０８７３４８に記載された方法のような様々な方法が適用され得る。一度決定されると、明るさ補正パラメータはシステムのメモリ（又はシステムによってアクセス可能な任意の他の記憶手段）に記憶され得る。
【0075】
さらに、色度値Ｕ１、Ｖ１とＵ２、Ｖ２はＲＯＩ２０１、２０１の画素データから推定され、色度値Ｕ３、Ｖ３とＵ４、Ｖ４はＲＯＩ３０１、３０２の画素データから推定される。Ｕ１－Ｕ３、Ｖ１－Ｖ３の差分の値は、ＲＶカメラとＴＲカメラによって取得された画像の色を調和する補正パラメータを決定するために用いられる（ステップ１１７）。輝度の差分の値に基づいて色補正パラメータを決定するように、ＷＯ２０１８／０８７３４８に記載されたような様々な方法が適用され得る。一度決定されると、色補正パラメータはシステムのメモリ（又はシステムによってアクセス可能な他の記憶手段）に記憶され得る。
【0076】
いくつかの実施形態で、差分Ｕ１－Ｕ３、Ｖ１－Ｖ３のそれぞれはその値が閾値未満であると検証した場合にのみ、色補正パラメータを算出するために用いられる。
【0077】
さらに、上記に記載された実施形態はＲＯＩ２０１、２０２、３０１、３０２のデータコンテンツ全体を説明するために推定されたＹ、Ｕ、Ｖ値の間の比較に基づくが、他の実施形態では、ＲＯＩ２０１、２０２、３０１が、それぞれのＹ、Ｕ、Ｖが調和パラメータを決定するために推定され比較されるサブ領域に分割されてもよい。サブ領域は、ＲＯＩ２０１、２０２、３０１、３０２内の単一画素又は画素群に対応され得る。
【0078】
Ｙ、Ｕ、Ｖ補正パラメータの算出後、方法１００は後の段階で再実行され、車両１１の方向を決定するためにステップ１０１からまた開始され得る。例えば、システムは、当該方法を定期的に開始する（及び／又は測定の運転活動／環境条件によって引き起こされる）ように構成されてよい。このように、記憶された調和補正パラメータが時間によって更新される。
【0079】
ステップ１１６に戻って参照すると、方法１００はＹ１－Ｙ３とＹ２－Ｙ４の両方が閾値を超過する絶対値を有するとの決定の後にも、方法１００が再実行される（この決定が方法１００の再実行を引き起こしてもよい）。
【0080】
車両１１のメインディスプレイ２２又はデジタル後方ミラーを提供するフロントガラスなどに表示される不可視トレーラ視野などの、ＲＶカメラとＴＲカメラによって取得された合成画像を含む複合ビューを生成する処理で適用することを要求されるとき（ステップ１１８）、決定された調和補正パラメータは、それから、システムによって取り戻され得る。いくつかの実施形態では、これら画像が複合ビューに合成される前に、ＲＶカメラとＴＲカメラによって取得された画像のうちの少なくとも１つに調和補正パラメータが適用される。他の実施形態では、補正パラメータが複合ビュー、特にＲＶカメラとＴＲカメラによって取得された画像の間の合成領域に適用される。
【0081】
図７は、開示された方法１００の動作によって決定された補正パラメータを用いて調和された不可視トレーラ視野の表示された画像７００の一例を示しており、ＴＲカメラによって取得された画像７０１が線７０３に沿ってＲＶカメラによって取得された画像７０２と（取得された画像の間の空間間隔のために混合せず）合成される。視野の底にあるボックスの列は、ディスプレイを制御しビジョンシステムの一部を形成するアプリケーションのユーザインタフェースの様々なボタンやウィジェットに対応する。ディスプレイがタッチスクリーンを備える場合、これらウィジェットは対話型でもよく、運転者がそれぞれのウィジェットによって示される機能を直接選択できるようにしてよい。
【0082】
他の複合ビューは、方法１００の動作によって取得された調和補正パラメータを適用することで、ディスプレイ２２上に表示され自動又は半自動動作を遂行するように用いられる、記憶されて後の段階で取り戻され得る（例えば、事故の後や、トレーラの内容物を盗まれた後の調査のために）映像を提供できるトレーラ１２の周りの環境の上面視などのその他の複合ビューを提供することができるなどの利益を得ることができる。
【0083】
ステップ１１６に戻って、Ｙ１－Ｙ３とＹ２－Ｙ４両方の差分が閾値を超過する絶対値を有すると決定された場合、複合ビューを調和させるための更新された調和パラメータはシステムに存在しない。したがって、システムは、方法１００の動作によって過去に生成されて記憶された補正パラメータが利用可能か否かを決定する（ステップ１１９）ことができる。肯定的な決定に応じて、システムは、過去の補正パラメータを適用して複合ビューを調和させる（ステップ１２０）ことができる。否定的な決定に応じて（例えば、方法が１周回だけ遂行されたか、過去のパラメータが取り戻せないため）、調和は適用されない（ステップ１２１－そして、この場合、陰の決定は方法１００の再実行を引き起こしてよい）。
【0084】
方法１００の実行が車両１１とトレーラ１２のＲＶとＴＲカメラを調和するように開示されたが、車両１１が進行方向に沿って移動しているにつれて、ＦＶとＲＶカメラによって同じ道路の一部をサンプリングし、且つサンプリングされた道路の一部を調和の共通基準として用いることに基づいて、同じ原理が車両１１（又はトレーラの有無を問わない他の車両）の前方ＦＶカメラと後方カメラＲＶを調和するためにも同様に適用され得る。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【外国語明細書】