ホーム > 特許ランキング > 宣城立訊精密工業有限公司
知財求人 - 知財ポータルサイト「IP Force」
特開2024-147527車載サラウンドビューカメラの外部パラメータ校正方法、装置、車両および記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147527
(43)【公開日】2024-10-16
(54)【発明の名称】車載サラウンドビューカメラの外部パラメータ校正方法、装置、車両および記憶媒体
(51)【国際特許分類】
G06T 7/80 20170101AFI20241008BHJP
G06T 7/70 20170101ALI20241008BHJP
【ＦＩ】
G06T7/80
G06T7/70 B
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024059865
(22)【出願日】2024-04-03
(31)【優先権主張番号】202310364272.9
(32)【優先日】2023-04-03
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】522006627
【氏名又は名称】宣城立訊精密工業有限公司
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(72)【発明者】
【氏名】楊 梅英
(72)【発明者】
【氏名】丁 小敏
(72)【発明者】
【氏名】王 寶傑
(72)【発明者】
【氏名】周 帝
(72)【発明者】
【氏名】夏 守道
(72)【発明者】
【氏名】張 范有
(72)【発明者】
【氏名】楊 文欽
(72)【発明者】
【氏名】曹 揚秋
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA09
5L096BA04
5L096CA05
5L096FA26
5L096FA69
(57)【要約】 （修正有）
【課題】車載サラウンドビューカメラの外部パラメータ校正のリアルタイム性及び汎用性を向上させる車載サラウンドビューカメラの外部パラメータ校正方法、装置、車両及び記憶媒体を提供する。
【解決手段】第１～第４カメラを備える車載サラウンドビューカメラを備える車両における方法は、視覚オドメーター情報に応じて第１、第２カメラの外部パラメータを決定することと、第１～第４位置姿勢初期値を決定することと、これらに応じて、第３、第４カメラの外部パラメータを決定することと、を含む。これにより、カルキュレーションが大きく、かかる時間が長いという問題を回避して、外部パラメータ校正のリアルタイム性を向上させることができ、かつ、４つのカメラの各外部パラメータ初期値を算出した後、４つのカメラの外部パラメータ初期値を合同で最適化して、外部パラメータ校正の精度を向上させることができる。
【選択図】図１
【解決手段】第１～第４カメラを備える車載サラウンドビューカメラを備える車両における方法は、視覚オドメーター情報に応じて第１、第２カメラの外部パラメータを決定することと、第１～第４位置姿勢初期値を決定することと、これらに応じて、第３、第４カメラの外部パラメータを決定することと、を含む。これにより、カルキュレーションが大きく、かかる時間が長いという問題を回避して、外部パラメータ校正のリアルタイム性を向上させることができ、かつ、４つのカメラの各外部パラメータ初期値を算出した後、４つのカメラの外部パラメータ初期値を合同で最適化して、外部パラメータ校正の精度を向上させることができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に応用され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定することと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定することと、を含む、
ことを特徴とする車載サラウンドビューカメラの外部パラメータ校正方法。
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定することと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定することと、を含む、
ことを特徴とする車載サラウンドビューカメラの外部パラメータ校正方法。
【請求項2】
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することは、
前記車体オドメーター情報、前記第１視覚オドメーター情報における第１地図点、前記第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定することと、
前記第１視覚オドメーター情報および第２視覚オドメーター情報の位置姿勢に応じて、前記第１有効地図点および前記第２有効地図点を第１カメラ座標系に変換して第１座標点および第２座標点を得て、前記第３有効地図点および前記第４有効地図点を第２カメラ座標系に変換して第３座標点および第４座標点を得ることと、
前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、それぞれ、前記第１座標点、前記第２座標点、前記第３座標点および前記第４座標点を車体座標系に変換して、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点を得ることと、
各カメラにより採取された画像、前記第１車体座標点、前記第２車体座標点、前記第３車体座標点および前記第４車体座標点に応じて、前記第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに前記第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定することと、
前記第１目標外部パラメータ初期値、前記第２目標外部パラメータ初期値、前記第３目標外部パラメータ初期値、前記第４目標外部パラメータ初期値、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することと、を含む、
ことを特徴とする請求項１に記載の方法。
前記車体オドメーター情報、前記第１視覚オドメーター情報における第１地図点、前記第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定することと、
前記第１視覚オドメーター情報および第２視覚オドメーター情報の位置姿勢に応じて、前記第１有効地図点および前記第２有効地図点を第１カメラ座標系に変換して第１座標点および第２座標点を得て、前記第３有効地図点および前記第４有効地図点を第２カメラ座標系に変換して第３座標点および第４座標点を得ることと、
前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、それぞれ、前記第１座標点、前記第２座標点、前記第３座標点および前記第４座標点を車体座標系に変換して、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点を得ることと、
各カメラにより採取された画像、前記第１車体座標点、前記第２車体座標点、前記第３車体座標点および前記第４車体座標点に応じて、前記第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに前記第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定することと、
前記第１目標外部パラメータ初期値、前記第２目標外部パラメータ初期値、前記第３目標外部パラメータ初期値、前記第４目標外部パラメータ初期値、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することは、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値を、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として決定することを含む、
ことを特徴とする請求項１に記載の方法。
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値を、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として決定することを含む、
ことを特徴とする請求項１に記載の方法。
【請求項4】
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することは、
前記第１位置姿勢初期値における第１光度誤差値、前記第２位置姿勢初期値における第２光度誤差値、前記第３位置姿勢初期値における第３光度誤差値および前記第４位置姿勢初期値における第４光度誤差値が第１所定条件を満たさなければ、第１所定ステップサイズに基づいて各前記位置姿勢初期値を、更新後の各前記位置姿勢初期値における各光度誤差値が第１所定条件を満たすまで更新し、各前記位置姿勢初期値を各前記目標位置姿勢初期値として決定することを含み、
前記第１光度誤差値は、第１投影点の光度と、第１目標特徴点の光度との間の誤差値であり、前記第１投影点が第１位置姿勢初期値において前記第１カメラの第１有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第２光度誤差値は、第２投影点の光度と第２目標特徴点の光度との間の誤差値であり、前記第２投影点が、第２位置姿勢初期値において前記第１カメラの第２有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第３光度誤差値は、第３投影点の光度と第３目標特徴点の光度との間の誤差値であり、前記第３投影点が第３位置姿勢初期値において前記第２カメラの第３有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第４光度誤差値は、第４投影点の光度と第４目標特徴点の光度との間の誤差値であり、前記第４投影点が第４位置姿勢初期値において前記第２カメラの第４有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第１所定条件は、前記第１光度誤差値が第１閾値に達し、前記第２光度誤差値が第２閾値に達し、前記第３光度誤差値が第３閾値に達し、前記第４光度誤差値が第４閾値に達するというものである、
ことを特徴とする請求項２に記載の方法。
前記第１位置姿勢初期値における第１光度誤差値、前記第２位置姿勢初期値における第２光度誤差値、前記第３位置姿勢初期値における第３光度誤差値および前記第４位置姿勢初期値における第４光度誤差値が第１所定条件を満たさなければ、第１所定ステップサイズに基づいて各前記位置姿勢初期値を、更新後の各前記位置姿勢初期値における各光度誤差値が第１所定条件を満たすまで更新し、各前記位置姿勢初期値を各前記目標位置姿勢初期値として決定することを含み、
前記第１光度誤差値は、第１投影点の光度と、第１目標特徴点の光度との間の誤差値であり、前記第１投影点が第１位置姿勢初期値において前記第１カメラの第１有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第２光度誤差値は、第２投影点の光度と第２目標特徴点の光度との間の誤差値であり、前記第２投影点が、第２位置姿勢初期値において前記第１カメラの第２有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第３光度誤差値は、第３投影点の光度と第３目標特徴点の光度との間の誤差値であり、前記第３投影点が第３位置姿勢初期値において前記第２カメラの第３有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第４光度誤差値は、第４投影点の光度と第４目標特徴点の光度との間の誤差値であり、前記第４投影点が第４位置姿勢初期値において前記第２カメラの第４有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第１所定条件は、前記第１光度誤差値が第１閾値に達し、前記第２光度誤差値が第２閾値に達し、前記第３光度誤差値が第３閾値に達し、前記第４光度誤差値が第４閾値に達するというものである、
ことを特徴とする請求項２に記載の方法。
【請求項5】
前記車体オドメーター情報、前記第１視覚オドメーター情報における第１地図点、前記第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定することは、
前記車体オドメーター情報における車体運動軌跡情報および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、現実世界のスケールと、カメラにより構築された３次元地図のスケールとの間の比率を表すパラメータであるスケール因子を決定することと、
前記スケール因子に基づいて前記第１地図点および前記第２地図点を比例変換して、前記第１地図点の現実世界のスケールにおける第１現実地図点、および前記第２地図点の現実世界の地図のスケールにおける第２現実地図点を得ることと、
各カメラの採取範囲に応じて、前記第１カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第１オーバーラップ領域、前記第１カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第２オーバーラップ領域、前記第２カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第３オーバーラップ領域、および前記第２カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第４オーバーラップ領域を決定することと、
前記第１現実地図点の前記第１オーバーラップ領域における地図点を第１有効地図点として決定し、前記第１現実地図点の前記第２オーバーラップ領域における地図点を第２有効地図点として決定し、前記第２現実地図点の前記第３オーバーラップ領域における地図点を第３有効地図点として決定し、前記第２現実地図点の前記第４オーバーラップ領域における地図点を第４有効地図点として決定することと、を含む、
ことを特徴とする請求項２に記載の方法。
前記車体オドメーター情報における車体運動軌跡情報および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、現実世界のスケールと、カメラにより構築された３次元地図のスケールとの間の比率を表すパラメータであるスケール因子を決定することと、
前記スケール因子に基づいて前記第１地図点および前記第２地図点を比例変換して、前記第１地図点の現実世界のスケールにおける第１現実地図点、および前記第２地図点の現実世界の地図のスケールにおける第２現実地図点を得ることと、
各カメラの採取範囲に応じて、前記第１カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第１オーバーラップ領域、前記第１カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第２オーバーラップ領域、前記第２カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第３オーバーラップ領域、および前記第２カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第４オーバーラップ領域を決定することと、
前記第１現実地図点の前記第１オーバーラップ領域における地図点を第１有効地図点として決定し、前記第１現実地図点の前記第２オーバーラップ領域における地図点を第２有効地図点として決定し、前記第２現実地図点の前記第３オーバーラップ領域における地図点を第３有効地図点として決定し、前記第２現実地図点の前記第４オーバーラップ領域における地図点を第４有効地図点として決定することと、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項6】
各カメラにより採取された画像、前記第１車体座標点、前記第２車体座標点、前記第３車体座標点および前記第４車体座標点に応じて、前記第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに前記第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定することは、
各カメラにより採取された画像に応じて、前記第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点である第１目標特徴点、前記第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点である第２目標特徴点、前記第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点である第３目標特徴点、前記第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点である第４目標特徴点を決定することと、
各車体座標点および各目標特徴点に応じて、透視ｎポイント位置決めＰＮＰ方法により、前記第３カメラの第１外部パラメータ初期値および第２外部パラメータ初期値、並びに前記第４カメラの第３外部パラメータ初期値および第４外部パラメータ初期値を決定することと、
前記第３カメラおよび前記第４カメラのうちの各カメラに対して、対応するカメラの外部パラメータ初期値に関連する、前記カメラの所定領域における各数値について、前記カメラの外部パラメータ初期値を前記数値に更新し、前記カメラが対応する車体座標点を前記カメラの画像座標系に投影して対応する２次元座標点を得て、前記カメラの対応する２次元座標点と目標特徴点との間の光度誤差を決定することと、
前記カメラの対応する各光度誤差のうち、最小光度誤差が対応する数値を、前記カメラの対応する目標外部パラメータ初期値として決定することと、を含む、
ことを特徴とする請求項２に記載の方法。
各カメラにより採取された画像に応じて、前記第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点である第１目標特徴点、前記第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点である第２目標特徴点、前記第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点である第３目標特徴点、前記第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点である第４目標特徴点を決定することと、
各車体座標点および各目標特徴点に応じて、透視ｎポイント位置決めＰＮＰ方法により、前記第３カメラの第１外部パラメータ初期値および第２外部パラメータ初期値、並びに前記第４カメラの第３外部パラメータ初期値および第４外部パラメータ初期値を決定することと、
前記第３カメラおよび前記第４カメラのうちの各カメラに対して、対応するカメラの外部パラメータ初期値に関連する、前記カメラの所定領域における各数値について、前記カメラの外部パラメータ初期値を前記数値に更新し、前記カメラが対応する車体座標点を前記カメラの画像座標系に投影して対応する２次元座標点を得て、前記カメラの対応する２次元座標点と目標特徴点との間の光度誤差を決定することと、
前記カメラの対応する各光度誤差のうち、最小光度誤差が対応する数値を、前記カメラの対応する目標外部パラメータ初期値として決定することと、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項7】
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定することの後には、
各カメラの外部パラメータにおいて、以下のような数式で誤差指標を決定し、
Ｅｒｒは、各カメラの外部パラメータの最適化状況を衡量するパラメータ指標である前記誤差指標であり、Ｅ1は、前記第１カメラの第１有効地図点が前記第３カメラの画像座標系に投影された再投影誤差値であり、Ｅ2は、前記第２カメラの第３有効地図点が前記第３カメラの画像座標系に投影された再投影誤差値であり、Ｅ3は、前記第１カメラの第２有効地図点が前記第４カメラの画像座標系に投影された再投影誤差値であり、Ｅ4は、前記第２カメラの第４有効地図点が前記第４カメラの画像座標系に投影された再投影誤差値であり、Ｅ5は、前記車体オドメーターおよび前記第１カメラの第１視覚オドメーターに基づいて決定されたハンドアイ校正誤差値であり、Ｅ6は、前記車体オドメーターおよび前記第２カメラの第２視覚オドメーターに基づいて決定されたハンドアイ校正誤差値であることと、
前記誤差指標が誤差閾値に達すれば、各カメラの外部パラメータを各カメラの目標外部パラメータとして決定し、前記目標外部パラメータが最適化後の外部パラメータであることと、
前記誤差指標が誤差閾値に達しなければ、第２所定ステップサイズに基づき、少なくとも１つのカメラの外部パラメータを、各カメラの対応する誤差指標が誤差閾値に達するまで更新し、誤差閾値に達する時における対応する各カメラの外部パラメータを各カメラの目標外部パラメータとして決定することと、がさらに含まれる、
ことを特徴とする請求項１に記載の方法。
各カメラの外部パラメータにおいて、以下のような数式で誤差指標を決定し、
前記誤差指標が誤差閾値に達すれば、各カメラの外部パラメータを各カメラの目標外部パラメータとして決定し、前記目標外部パラメータが最適化後の外部パラメータであることと、
前記誤差指標が誤差閾値に達しなければ、第２所定ステップサイズに基づき、少なくとも１つのカメラの外部パラメータを、各カメラの対応する誤差指標が誤差閾値に達するまで更新し、誤差閾値に達する時における対応する各カメラの外部パラメータを各カメラの目標外部パラメータとして決定することと、がさらに含まれる、
ことを特徴とする請求項１に記載の方法。
【請求項8】
各カメラの目標外部パラメータを決定することの後には、
各カメラに対して、前記カメラの目標外部パラメータに基づき、前記カメラの、前記カメラの車体座標系に対する回転角度を表す情報であるオイラー角情報、および前記カメラの車体座標系に対する平行移動量を表す情報である平行移動ベクトル情報を決定すること、
前記カメラのオイラー角情報および平行移動ベクトル情報が、前記オイラー角情報が第１閾値範囲内に、前記平行移動ベクトル情報が第２閾値範囲内にあるという第２所定条件を満たすか否かを判断することと、
満たせば、前記カメラの目標外部パラメータ校正が成功したと決定することと、
満たさなければ、前記カメラの目標外部パラメータ校正が失敗したと決定することと、がさらに含まれる、
ことを特徴とする請求項６に記載の方法。
各カメラに対して、前記カメラの目標外部パラメータに基づき、前記カメラの、前記カメラの車体座標系に対する回転角度を表す情報であるオイラー角情報、および前記カメラの車体座標系に対する平行移動量を表す情報である平行移動ベクトル情報を決定すること、
前記カメラのオイラー角情報および平行移動ベクトル情報が、前記オイラー角情報が第１閾値範囲内に、前記平行移動ベクトル情報が第２閾値範囲内にあるという第２所定条件を満たすか否かを判断することと、
満たせば、前記カメラの目標外部パラメータ校正が成功したと決定することと、
満たさなければ、前記カメラの目標外部パラメータ校正が失敗したと決定することと、がさらに含まれる、
ことを特徴とする請求項６に記載の方法。
【請求項9】
第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に配置され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための第１外部パラメータ決定モジュールと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢決定モジュールと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定するための初期値決定モジュールと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定するための第２外部パラメータ決定モジュールと、を含む、
ことを特徴とする車載サラウンドビューカメラの外部パラメータ校正装置。
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための第１外部パラメータ決定モジュールと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢決定モジュールと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定するための初期値決定モジュールと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定するための第２外部パラメータ決定モジュールと、を含む、
ことを特徴とする車載サラウンドビューカメラの外部パラメータ校正装置。
【請求項10】
車載サラウンドビューカメラと、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが請求項１～８のいずれか１項に記載の車載サラウンドビューカメラの外部パラメータ校正方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
ことを特徴とする車両。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが請求項１～８のいずれか１項に記載の車載サラウンドビューカメラの外部パラメータ校正方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
ことを特徴とする車両。
【請求項11】
プロセッサに、実行時に請求項１～８のいずれか１項に記載の車載サラウンドビューカメラの外部パラメータ校正方法を実現させるためのコンピュータ命令が記憶されている、
ことを特徴とするコンピュータ可読記憶媒体。
ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は、自動運転の技術分野に関し、特に、車載サラウンドビューカメラの外部パラメータ校正（Ｃａｌｉｂｒａｔｉｏｎ）方法、装置、車両および記憶媒体に関する。
【背景技術】
【0002】
インテリジェント運転支援システムにおいて、車載サラウンドビューカメラの校正が大部分のインテリジェント感知機能の基礎となるため、サラウンドビューカメラの校正の安定性および精度は、視覚感知機能の精度に直接影響を与えている。カメラの校正は、内部パラメータ校正と外部パラメータ校正とに分けられてもよく、カメラの内部パラメータは、カメラの固有のパラメータであり、カメラの外部パラメータとは、カメラ座標系の車体座標系に対する位置姿勢関係を表すパラメータである。車体座標系とは、車両自体を参照系として確立された座標系であり、車両の周囲の物体とこの車両との間の相対位置姿勢関係を説明するための座標系と考えられてもよい。カメラ座標系とは、カメラの合焦中心を原点とし、光軸をＺ軸として確立された３次元直角座標系である。
【0003】
現在、車載サラウンドビューカメラの外部パラメータ校正方法は、以下の３種類に分けられてもよい。一つ目は、特定の場所に基づくカメラ校正方法であり、この方法は基本的に、場面に置かれた特定の校正テンプレートを採用し、校正テンプレートの特徴点を抽出することにより校正を行っている。しかし、このような方法は、場所の建築コストへの投入大きく、且つ車両が静止している環境にしか応用できない。二つ目は、消失点に基づくカメラ校正方法であり、環境における平行情報を利用して画像における消失点を算出してから、消失点に応じてカメラの外部パラメータを算出している。しかし、この方法は、平行情報を有する特殊のマーカー、例えば車線などに依存し、応用場面が限定されている。三つ目は、場面地図の融合に基づくカメラ校正方法であり、地図情報の融合によってカメラの間の相対位置姿勢を算出している。但し、環境地図を確立するために各カメラが全てオドメーターを作動させる必要があり、カルキュレーションの要求が高く、かかる時間が長く、リアルタイムのオンラインの校正に不利である。
【0004】
そのため、車載サラウンドビューカメラの外部パラメータ校正のリアルタイム性および汎用性を如何に向上させるかは、現在早急に解決すべき技術的課題になっている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施例は、車載サラウンドビューカメラの外部パラメータ校正のリアルタイム性および汎用性を向上させるための、車載サラウンドビューカメラの外部パラメータ校正方法、装置、車両および記憶媒体を提供する。
【課題を解決するための手段】
【0006】
本発明の実施例の一側面によれば、
第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に応用され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定することと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定することと、を含む、車載サラウンドビューカメラの外部パラメータ校正方法が提供される。
第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に応用され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定することと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定することと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定することと、を含む、車載サラウンドビューカメラの外部パラメータ校正方法が提供される。
【0007】
本発明の実施例の他の側面によれば、
第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に配置され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための第１外部パラメータ決定モジュールと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢決定モジュールと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定するための初期値決定モジュールと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定するための第２外部パラメータ決定モジュールと、を含む、車載サラウンドビューカメラの外部パラメータ校正装置が提供される。
第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に配置され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための第１外部パラメータ決定モジュールと、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢決定モジュールと、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定するための初期値決定モジュールと、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定するための第２外部パラメータ決定モジュールと、を含む、車載サラウンドビューカメラの外部パラメータ校正装置が提供される。
【0008】
本発明の実施例の他の側面によれば、
車載サラウンドビューカメラと、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが本発明のいずれかの実施例に記載の車載サラウンドビューカメラの外部パラメータ校正方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される車両が提供される。
車載サラウンドビューカメラと、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが本発明のいずれかの実施例に記載の車載サラウンドビューカメラの外部パラメータ校正方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される車両が提供される。
【0009】
本発明の実施例の他の側面によれば、プロセッサに、実行時に本発明のいずれかの実施例に記載の車載サラウンドビューカメラの外部パラメータ校正方法を実現させるためのコンピュータ命令が記憶されている、コンピュータ可読記憶媒体が提供される。
【発明の効果】
【0010】
本発明の実施例の技術態様は、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定し、車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定し、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定し、第１カメラの外部パラメータ、第２カメラの外部パラメータ、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値に応じて、第３カメラの外部パラメータおよび第４カメラの外部パラメータを決定する。本技術態様は、先に第１カメラおよび第２カメラの視覚オドメーター情報に応じて、対応する外部パラメータを決定してから、第１カメラおよび第２カメラの外部パラメータに応じて第３カメラおよび第４カメラの外部パラメータを決定することにより、外部パラメータを決定するために４つのカメラが全て視覚オドメーター計算を行うことに起因した、カルキュレーションが大きく、かかる時間が長いという問題を回避して、外部パラメータ校正のリアルタイム性を向上させることができ、また、本態様は、任意の場面における外部パラメータ校正に応用可能であり、道路の特定のマーカーに依存するという問題を回避し、外部パラメータ校正の汎用性を向上させることができる。
【0011】
本部分で説明されている内容は、本発明の実施例の核心的または重要な特徴を特定することを意図するものではなく、本発明の範囲を制限することに用いられるものでもないことを理解すべきである。本発明の他の特徴は、以下の明細書により理解しやすくなる。
【図面の簡単な説明】
【0012】
本発明の実施例における技術態様をより明確に説明するために、以下、実施例の説明で使用する必要がある図面について簡単に紹介するが、以下で説明される図面は本発明のいくつかの実施例に過ぎず、当業者であれば、創造的労働を払わない前提で、これらの図面に応じて他の図面をさらに得ることができることは明らかである。
【0013】
【図1】本発明の実施例１に係る車載サラウンドビューカメラの外部パラメータ校正方法のフローの模式図である。
【図2】本発明の実施例１に係る閉ループ関係で構築された実現模式図である。
【図3】本発明の実施例１に係る４つのカメラの実現模式図である。
【図4】本発明の実施例２に係る車載サラウンドビューカメラの外部パラメータ校正方法のフローの模式図である。
【図5】本発明の実施例３に係る車載サラウンドビューカメラの外部パラメータ校正装置の構造模式図である。
【図6】本発明の実施例４に係る車両の構造模式図である。
【発明を実施するための形態】
【0014】
当業者に本発明の態様をよりよく理解させるために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術態様を明確で完全に説明するが、説明される実施例は本発明の一部の実施例に過ぎず、全ての実施例ではないことは明らかである。本発明における実施例に基づいて、当業者が創造的な労働を行わない前提で得られる全ての他の実施例は、いずれも本発明の保護範囲に属すべきである。
【0015】
なお、本発明の明細書および特許請求の範囲、並びに上記図面における用語「第１」、「第２」などは、特定の順序または前後順序を説明するために使用される必要はなく、類似する対象を区別するためのものである。このように使用されるデータは、適切な場合に置換え可能であり、これにより、ここで説明される本発明の実施例が、ここで図示または説明されるもの以外の順序で実施できることを理解すべきである。また、用語「含む」および「有する」並びにこれらの如何なる変形も、排他的ではない包含をカバーすることを意図し、例えば、一連のステップまたはユニットの過程、方法、システム、製品または機器を含み、必ずしも明確に挙げられたそれらのステップまたはユニットに限定されず、明確に挙げられていないまたはこれらの過程、方法、製品または機器にとって固有である他のステップまたはユニットを含んでもよい。
【0016】
実施例１
図１は、本発明の実施例１に係る車載サラウンドビューカメラの外部パラメータ校正方法のフローの模式図であり、該方法は、車載サラウンドビューカメラの外部パラメータを校正する場合に適用可能であり、該方法は、車載サラウンドビューカメラの外部パラメータ校正装置により実行可能であり、そのうち、該装置は、ソフトウェアおよび／またはハードウェアにより実現可能であり、且つ一般的に、第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に集積されており、第１カメラの位置が第３カメラの位置、第４カメラの位置に隣り合い、第２カメラの位置が第３カメラの位置、第４カメラの位置に隣り合い、位置は、カメラが所在する位置として理解できる。
図１は、本発明の実施例１に係る車載サラウンドビューカメラの外部パラメータ校正方法のフローの模式図であり、該方法は、車載サラウンドビューカメラの外部パラメータを校正する場合に適用可能であり、該方法は、車載サラウンドビューカメラの外部パラメータ校正装置により実行可能であり、そのうち、該装置は、ソフトウェアおよび／またはハードウェアにより実現可能であり、且つ一般的に、第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に集積されており、第１カメラの位置が第３カメラの位置、第４カメラの位置に隣り合い、第２カメラの位置が第３カメラの位置、第４カメラの位置に隣り合い、位置は、カメラが所在する位置として理解できる。
【0017】
図１に示すように、本発明の実施例１に係る車載サラウンドビューカメラの外部パラメータ校正方法は、以下のステップを含む。
【0018】
Ｓ１１０において、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定する。
【0019】
本実施例において、第１カメラ、第２カメラ、第３カメラおよび第４カメラは、車体を基準として、車両のフロントビュー、バックビュー、レフトビューおよびライトビュー方向における画像の採取に用いられるカメラとして理解でき、そのうち、各カメラが対応する方向の設定は限定されないが、第１カメラの位置が第３カメラの位置、第４カメラの位置に隣り合い、第２カメラの位置が第３カメラの位置、第４カメラの位置に隣り合うことを保証する必要があり、つまり、第１カメラがフロントビューカメラであれば、第３カメラはフロントビューカメラの位置に隣り合うレフトビューカメラまたはライトビューカメラであってもよく、相応して、第２カメラがバックビューカメラであれば、第４カメラは第２カメラに隣り合うレフトビューカメラまたはライトビューカメラであってもよく、各カメラが対応する位置が異なることを保証する必要があり、例えば２つのカメラがいずれもレフトビューカメラになってはいけないことが理解できる。
【0020】
第１視覚オドメーター情報は、第１カメラが対応する視覚オドメーター情報と考えられる。第２視覚オドメーター情報は、第２カメラが対応する視覚オドメーター情報と考えられる。
【0021】
車体オドメーター情報は、車両の車体オドメーターに関連する情報として理解できる。車体オドメーターは、車体を基準とする車両の移動位置の変化の情報を表すものとして理解できる。視覚オドメーター情報は、対応するカメラの視覚オドメーターに関連する情報である。視覚オドメーターは、カメラを基準とするカメラの移動位置の変化および地図点などの情報を表すものとして理解できる。ここでは、車体オドメーター情報および視覚オドメーター情報の具体的な内容について具体的に限定せず、例えば、車体オドメーター情報は、車速、車体運動軌跡などの情報を含んでもよく、視覚オドメーター情報は、地図点、カメラ運動軌跡などの情報を含んでもよい。車体運動軌跡は、車両が運動する運動軌跡を表す情報として理解できる。カメラ運動軌跡は、カメラが運動する移動軌跡を表す情報として理解できる。
【0022】
ここでは、如何に車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定するかについて、具体的に限定しない。例えば、先にリアルタイムキネマティック（Ｒｅａｌ－ｔｉｍｅ ｋｉｎｅｍａｔｉｃ、ＲＴＫ）方法、慣性計測ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、ＩＭＵ）方法、車輪速度メーター方法などによって車両の車体オドメーター情報を得て、そして、第１カメラおよび第２カメラにより採取された画像に基づき、相応する視覚オドメーター計算方法によって第１視覚オドメーター情報および第２視覚オドメーター情報を得て、最後、車体オドメーター情報、第１視覚オドメーター情報および第２視覚オドメーター情報に基づき、相応する外部パラメータアルゴリズム（例えば、予め設定されたハンドアイ校正原理に基づくアルゴリズム）によって第１カメラの外部パラメータおよび第２カメラの外部パラメータを得てもよい。
【0023】
Ｓ１２０において、前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定する。
【0024】
本実施例において、第１位置姿勢初期値は、第１カメラと第３カメラとの間の相対位置姿勢を表す初期値として理解できる。第２位置姿勢初期値は、第１カメラと第４カメラとの間の相対位置姿勢を表す初期値として理解できる。第３位置姿勢初期値は、第２カメラと第３カメラとの間の相対位置姿勢を表す初期値である。第４位置姿勢初期値は、第２カメラと第４カメラとの間の相対位置姿勢を表す初期値である。
【0025】
ここでは、如何に車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するかについて、具体的に限定しない。例えば、先に車体オドメーター情報、各視覚オドメーター情報における地図点および各カメラの画像採取範囲に応じて、第１カメラと第３カメラとの間の採取範囲のオーバーラップ領域にある地図点、第１カメラと第４カメラとの間の採取範囲のオーバーラップ領域にある地図点、第２カメラと第３カメラとの間の採取範囲のオーバーラップ領域にある地図点、および第２カメラと第４カメラとの間の採取範囲のオーバーラップ領域にある地図点を決定し、そして、第１カメラおよび第２カメラの外部パラメータに応じて、決定した地図点を先にカメラ座標系に変換した上で、車体座標系に変換して、車体座標系における地図点を得て、車体座標系における地図点および各カメラにより採取された画像に応じて、相応する外部パラメータ初期値決定アルゴリズムによって、第３カメラおよび第４カメラが対応する外部パラメータ初期値を決定し、最後、第１カメラおよび第２カメラの外部パラメータ、並びに第３カメラおよび第４カメラが対応する外部パラメータ初期値に応じて、相応する位置姿勢初期値決定アルゴリズムによって、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定してもよい。
【0026】
Ｓ１３０において、前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定する。
【0027】
本実施例において、目標位置姿勢初期値は、第３カメラおよび第４カメラの外部パラメータを決定するための位置姿勢初期値として理解できる。ここでは、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を如何に決定するかについて、具体的に限定せず、例えば、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値をそれぞれ第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として直接決定してもよく、または、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を相応する最適化アルゴリズムによって最適化して、最適化後の各位置姿勢初期値を各目標位置姿勢初期値として決定してもよい。
【0028】
Ｓ１４０において、前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、第３カメラの外部パラメータおよび第４カメラの外部パラメータを決定する。
【0029】
【0030】
【0031】
図２は、本発明の実施例１に係る閉ループ関係で構築された実現模式図である。図２に示すように、フロントビューカメラ、レフトビューカメラおよび車体を例にとると、フロントビューカメラ（即ち第１カメラ）とレフトビューカメラ（即ち第３カメラ）との間は、位置が隣り合い、フロントビューカメラ、レフトビューカメラおよび車体の間は、１つの閉ループ関係を構成する。
【0032】
【0033】
本発明の実施例１に係る車載サラウンドビューカメラの外部パラメータ校正方法は、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定し、車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定し、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定し、第１カメラの外部パラメータ、第２カメラの外部パラメータ、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値に応じて、第３カメラの外部パラメータおよび第４カメラの外部パラメータを決定する。本技術態様は、先に第１カメラおよび第２カメラの視覚オドメーター情報に応じて、対応する外部パラメータを決定してから、第１カメラおよび第２カメラの外部パラメータに応じて第３カメラおよび第４カメラの外部パラメータを決定することにより、外部パラメータを決定するために４つのカメラが全て視覚オドメーター計算を行うことに起因した、カルキュレーションが大きく、かかる時間が長いという問題を回避して、外部パラメータ校正のリアルタイム性を向上させることができ、また、本技術態様は、任意の場面における外部パラメータ校正に応用可能であり、道路の特定のマーカーに依存するという問題を回避し、外部パラメータ校正の汎用性を向上させることができる。
【0034】
実施例２
図４は、本発明の実施例２に係る車載サラウンドビューカメラの外部パラメータ校正方法のフローの模式図であり、本実施例２は、上記各実施例を踏まえて細分化される。本実施例において、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定する過程、車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定する過程について具体的に説明している。なお、本実施例において詳しく説明されていない技術的詳細は、上記任意の実施例を参照可能である。図４に示すように、該方法は、以下を含む。
図４は、本発明の実施例２に係る車載サラウンドビューカメラの外部パラメータ校正方法のフローの模式図であり、本実施例２は、上記各実施例を踏まえて細分化される。本実施例において、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定する過程、車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定する過程について具体的に説明している。なお、本実施例において詳しく説明されていない技術的詳細は、上記任意の実施例を参照可能である。図４に示すように、該方法は、以下を含む。
【0035】
Ｓ２１０において、車体オドメーター情報および各カメラにより採取された画像を取得する。
【0036】
本実施例において、車両は、相応するアルゴリズムによって車両の車体オドメーター情報を取得することができる。車両は、車載サラウンドビューカメラにおける各カメラにより採取された画像を取得して得ることができる。
【0037】
Ｓ２２０において、第１カメラおよび第２カメラにより採取された画像に基づき、第１視覚オドメーター情報および第２視覚オドメーター情報を決定する。
【0038】
本実施例において、車両は、第１カメラにより採取された画像に基づき、相応するアルゴリズムによって対応する第１視覚オドメーター情報を得ることができ、車両は、第２カメラにより採取された画像に基づき、相応するアルゴリズムによって対応する第２視覚オドメーター情報を得ることができ、ここでは、これについて限定しない。
【0039】
Ｓ２３０において、車体オドメーター情報および決定した視覚オドメーター情報に基づき、所定ハンドアイ校正アルゴリズムによって第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定する。
【0040】
本実施例において、所定ハンドアイ校正アルゴリズムは、予め設定されたハンドアイ校正原理に基づく外部パラメータ計算方法として理解できる。車両は、車体オドメーター情報および第１視覚オドメーター情報に基づき、所定ハンドアイ校正アルゴリズムによって第１カメラの外部パラメータを得ることができ、車両は、車体オドメーター情報および第２視覚オドメーター情報に基づき、所定ハンドアイ校正アルゴリズムによって第２カメラの外部パラメータを得ることができ、ここでは、これについて限定しない。
【0041】
Ｓ２４０において、車体オドメーター情報、第１視覚オドメーター情報における第１地図点、第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定する。
【0042】
本実施例において、地図点は、カメラにより採取された画像の特徴点に対応する３次元点として理解できる。相応して、第１地図点は、第１カメラにより採取された地図点として理解できる。第２地図点は、第２カメラにより採取された地図点として理解できる。
【0043】
第１有効地図点は、第１カメラと第３カメラとのオーバーラップ領域の地図点である。第２有効地図点は、第１カメラと第４カメラとのオーバーラップ領域の地図点である。第３有効地図点は、第２カメラと第３カメラとのオーバーラップ領域の地図点である。第４有効地図点は、第２カメラと第４カメラとのオーバーラップ領域の地図点である。
【0044】
ここでは、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を如何に決定するかについて、具体的に限定せず、例えば、先に車体オドメーター情報および視覚オドメーター情報に応じてスケール因子を決定して、スケール因子に基づいてそれぞれ第１地図点および第２地図点を比例変換し、スケール因子に対応する現実世界の地図における第１現実地図点および第２現実地図点を得て、そして、第１カメラと第３カメラとの間のオーバーラップ領域（即ち第１オーバーラップ領域）、第１カメラと第４カメラとの間のオーバーラップ領域（即ち第２オーバーラップ領域）、第２カメラと第３カメラとの間のオーバーラップ領域（即ち第３オーバーラップ領域）、および第２カメラと第４カメラとの間のオーバーラップ領域（即ち第４オーバーラップ領域）を決定してもよく、最後、第１現実地図点の第１オーバーラップ領域における地図点を第１有効地図点として決定し、第１現実地図点の第２オーバーラップ領域における地図点を第２有効地図点として決定し、第２現実地図点の第３オーバーラップ領域における地図点を第３有効地図点として決定し、第２現実地図点の第４オーバーラップ領域における地図点を第４有効地図点として決定してもよい。
【0045】
Ｓ２５０において、第１視覚オドメーター情報および第２視覚オドメーター情報の位置姿勢に応じて、第１有効地図点および第２有効地図点を第１カメラ座標系に変換して第１座標点および第２座標点を得て、第３有効地図点および第４有効地図点を第２カメラ座標系に変換して第３座標点および第４座標点を得る。
【0046】
本実施例において、第１座標点は、第１有効地図点を第１カメラ座標系に変換して得られた座標点として理解できる。第２座標点は、第２有効地図点を第１カメラ座標系に変換して得られた座標点として理解できる。第３座標点は、第３有効地図点を第２カメラ座標系に変換して得られた座標点として理解できる。第４座標点は、第４有効地図点を第２カメラ座標系に変換して得られた座標点として理解できる。
【0047】
Ｓ２６０において、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、それぞれ第１座標点、第２座標点、第３座標点および第４座標点を車体座標系に変換して、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点を得る。
【0048】
本実施例において、第１車体座標点は、第１有効地図点が車体座標系に変換された点として理解できる。第２車体座標点は、第２有効地図点が車体座標系に変換された点として理解できる。第３車体座標点は、第３有効地図点が車体座標系に変換された点として理解できる。第４車体座標点は、第４有効地図点が車体座標系に変換された点として理解できる。
【0049】
第１カメラの外部パラメータは、車体座標系の第１カメラ座標系に対する位置姿勢関係を表し、第１カメラの外部パラメータに対して逆を求めて第１カメラ座標系の車体座標系に対する位置姿勢関係を得た上で、該位置姿勢関係に基づき、第１座標点を車体座標系における点、即ち第１車体座標点に変換し、第２座標点を車体座標系における点、即ち第２車体座標点に変換することができる。相応して、第２カメラの外部パラメータは、車体座標系の第２カメラ座標系に対する位置姿勢関係を表し、第２カメラの外部パラメータに対して逆を求めて第２カメラ座標系の車体座標系に対する位置姿勢関係を得た上で、該位置姿勢関係に基づき、第３座標点を車体座標系における点、即ち第３車体座標点に変換し、第４座標点を車体座標系における点、即ち第４車体座標点に変換することができる。
【0050】
Ｓ２７０において、各カメラにより採取された画像、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点に応じて、第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定する。
【0051】
本実施例において、第１目標外部パラメータ初期値および第２目標外部パラメータ初期値は、最適化後の第１外部パラメータ初期値および第２外部パラメータ初期値として理解でき、第１外部パラメータ初期値および第２外部パラメータ初期値は、第３カメラの外部パラメータを表す２つの初期値として理解できる。第３目標外部パラメータ初期値および第４目標外部パラメータ初期値は、最適化後の第３外部パラメータ初期値および第４外部パラメータ初期値として理解でき、第３外部パラメータ初期値および第４外部パラメータ初期値は、第４カメラの外部パラメータを表す２つの初期値として理解できる。
【0052】
ここでは、各目標外部パラメータ初期値を如何に決定するかについて、具体的に限定せず、例えば、先に相応するアルゴリズムによって各カメラにより採取された画像を画像処理して、第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点、第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点、第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点、第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点を抽出し、特徴点は、顕著な特徴を有する画素点を表すことができ、そして、抽出した各特徴点および決定した各車体座標点に応じて、相応するアルゴリズムによって第３カメラの初期外部パラメータおよび第４カメラの初期外部パラメータを決定し、最後、予め設定された最適化アルゴリズムによって第３カメラの初期外部パラメータおよび第４カメラの初期外部パラメータを最適化して、第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を得てもよい。
【0053】
Ｓ２８０において、第１目標外部パラメータ初期値、第２目標外部パラメータ初期値、第３目標外部パラメータ初期値、第４目標外部パラメータ初期値、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定する。
【0054】
本実施例において、先に第１目標外部パラメータ初期値、第２目標外部パラメータ初期値、第３目標外部パラメータ初期値、第４目標外部パラメータ初期値、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、相応するアルゴリズムによって第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を得ることができる。
【0055】
Ｓ２９０において、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定する。
【0056】
Ｓ２１００において、第１カメラの外部パラメータ、第２カメラの外部パラメータ、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値に応じて、第３カメラの外部パラメータおよび第４カメラの外部パラメータを決定する。
【0057】
本発明の実施例２に係る車載サラウンドビューカメラの外部パラメータ校正方法は、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定する過程、車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定する過程を具現化する。該方法を利用し、先に決定された２つのカメラの外部パラメータにより、他の２つのカメラの外部パラメータを決定することができ、４つのカメラがいずれもカメラの視覚オドメーター演算を運行することに起因した、カルキュレーションが大きく、かかる時間が長いという問題を回避し、外部パラメータ校正の効率を有効に向上させ、外部パラメータ校正のリアルタイム性を保証する。
【0058】
好ましくは、車体オドメーター情報、第１視覚オドメーター情報における第１地図点、第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定することは、
車体オドメーター情報における車体運動軌跡情報、および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、現実世界のスケールとカメラにより構築された３次元地図のスケールとの間の比率を表すパラメータであるスケール因子を決定することと、
スケール因子に基づいて第１地図点および第２地図点を比例変換して、第１地図点の現実世界のスケールにおける第１現実地図点、および第２地図点の現実世界のスケールにおける第２現実地図点を得ることと、
各カメラの採取範囲に応じて、第１カメラと第３カメラとの間の採取範囲のオーバーラップ領域である第１オーバーラップ領域、第１カメラと第４カメラとの間の採取範囲のオーバーラップ領域である第２オーバーラップ領域、第２カメラと第３カメラとの間の採取範囲のオーバーラップ領域である第３オーバーラップ領域、第２カメラと第４カメラとの間の採取範囲のオーバーラップ領域である第４オーバーラップ領域を決定することと、
第１現実地図点の第１オーバーラップ領域における地図点を第１有効地図点として決定し、第１現実地図点の第２オーバーラップ領域における地図点を第２有効地図点として決定し、第２現実地図点の第３オーバーラップ領域における地図点を第３有効地図点として決定し、第２現実地図点の第４オーバーラップ領域における地図点を第４有効地図点として決定することと、を含む。
車体オドメーター情報における車体運動軌跡情報、および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、現実世界のスケールとカメラにより構築された３次元地図のスケールとの間の比率を表すパラメータであるスケール因子を決定することと、
スケール因子に基づいて第１地図点および第２地図点を比例変換して、第１地図点の現実世界のスケールにおける第１現実地図点、および第２地図点の現実世界のスケールにおける第２現実地図点を得ることと、
各カメラの採取範囲に応じて、第１カメラと第３カメラとの間の採取範囲のオーバーラップ領域である第１オーバーラップ領域、第１カメラと第４カメラとの間の採取範囲のオーバーラップ領域である第２オーバーラップ領域、第２カメラと第３カメラとの間の採取範囲のオーバーラップ領域である第３オーバーラップ領域、第２カメラと第４カメラとの間の採取範囲のオーバーラップ領域である第４オーバーラップ領域を決定することと、
第１現実地図点の第１オーバーラップ領域における地図点を第１有効地図点として決定し、第１現実地図点の第２オーバーラップ領域における地図点を第２有効地図点として決定し、第２現実地図点の第３オーバーラップ領域における地図点を第３有効地図点として決定し、第２現実地図点の第４オーバーラップ領域における地図点を第４有効地図点として決定することと、を含む。
【0059】
本実施例において、現実世界のスケールは、現実世界におけるスケールとして理解できる。カメラにより構築された３次元地図のスケールは、３次元地図を構築するスケールとして理解できる。車体運動軌跡情報は、車体運動軌跡を表す情報として理解できる。カメラ運動軌跡情報は、カメラ運動軌跡を表す情報として理解できる。車両は、車体オドメーター情報における車体運動軌跡情報および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、相応するアルゴリズムによって対応するスケール因子を得ることができる。
【0060】
好ましくは、各カメラにより採取された画像、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点に応じて、第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定することは、
各カメラにより採取された画像に応じて、第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点である第１目標特徴点、第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点である第２目標特徴点、第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点である第３目標特徴点、第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点である第４目標特徴点を決定することを含み、
本実施例において、如何に各カメラにより採取された画像に応じて第１目標特徴点、第２目標特徴点、第３目標特徴点および第４目標特徴点を決定するかについて、具体的に限定せず、第１カメラの特徴点は、第１視覚オドメーター情報における地図点に対応する２次元特徴点として表される。第２カメラの特徴点は、第２視覚オドメーター情報における地図点に対応する２次元特徴点として表される。特徴マッチングアルゴリズムによって第１カメラの特徴点と第３カメラ、第４カメラの特徴点とをマッチングして、第１目標特徴点および第２目標特徴点を決定する。特徴マッチングアルゴリズムによって第２カメラの特徴点と第３カメラ、第４カメラの特徴点とをマッチングして、第３目標特徴点および第４目標特徴点を決定する。ここでは、特徴マッチングアルゴリズムについて、具体的に限定しない。
各カメラにより採取された画像に応じて、第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点である第１目標特徴点、第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点である第２目標特徴点、第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点である第３目標特徴点、第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点である第４目標特徴点を決定することを含み、
本実施例において、如何に各カメラにより採取された画像に応じて第１目標特徴点、第２目標特徴点、第３目標特徴点および第４目標特徴点を決定するかについて、具体的に限定せず、第１カメラの特徴点は、第１視覚オドメーター情報における地図点に対応する２次元特徴点として表される。第２カメラの特徴点は、第２視覚オドメーター情報における地図点に対応する２次元特徴点として表される。特徴マッチングアルゴリズムによって第１カメラの特徴点と第３カメラ、第４カメラの特徴点とをマッチングして、第１目標特徴点および第２目標特徴点を決定する。特徴マッチングアルゴリズムによって第２カメラの特徴点と第３カメラ、第４カメラの特徴点とをマッチングして、第３目標特徴点および第４目標特徴点を決定する。ここでは、特徴マッチングアルゴリズムについて、具体的に限定しない。
【0061】
各車体座標点および各目標特徴点に応じて、透視ｎポイント位置決め（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ、ＰＮＰ）方法により、第３カメラの第１外部パラメータ初期値および第２外部パラメータ初期値、並びに第４カメラの第３外部パラメータ初期値および第４外部パラメータ初期値を決定し、
本実施例において、外部パラメータ初期値は、外部パラメータの初期値として理解できる。ここでは、如何に各車体座標点および各目標特徴点に応じて、第３カメラの外部パラメータ初期値および第４カメラの外部パラメータ初期値を決定するかについて、具体的に限定せず、例えば、相応するアルゴリズム（例えば、ＰＮＰアルゴリズム）により、第１車体座標点および第１目標特徴点に基づいて第３カメラの第１外部パラメータ初期値を得て、第２車体座標点および第２目標特徴点に基づいて第３カメラの第２外部パラメータ初期値を得て、第３車体座標点および第３目標特徴点に基づいて第４カメラの第１外部パラメータ初期値を得て、第４車体座標点および第４目標特徴点に基づいて第４カメラの第２外部パラメータ初期値を得てもよい。
本実施例において、外部パラメータ初期値は、外部パラメータの初期値として理解できる。ここでは、如何に各車体座標点および各目標特徴点に応じて、第３カメラの外部パラメータ初期値および第４カメラの外部パラメータ初期値を決定するかについて、具体的に限定せず、例えば、相応するアルゴリズム（例えば、ＰＮＰアルゴリズム）により、第１車体座標点および第１目標特徴点に基づいて第３カメラの第１外部パラメータ初期値を得て、第２車体座標点および第２目標特徴点に基づいて第３カメラの第２外部パラメータ初期値を得て、第３車体座標点および第３目標特徴点に基づいて第４カメラの第１外部パラメータ初期値を得て、第４車体座標点および第４目標特徴点に基づいて第４カメラの第２外部パラメータ初期値を得てもよい。
【0062】
第３カメラおよび第４カメラのうちの各カメラに対しては、カメラの所定領域における各数値について、カメラの外部パラメータ初期値を数値に更新し、カメラが対応する車体座標点をカメラの画像座標系に投影して対応する２次元座標点を得て、カメラの対応する２次元座標点と目標特徴点との間の光度誤差を決定し、所定領域は、対応するカメラの外部パラメータ初期値に関連し、
本実施例において、所定領域は、対応するカメラの外部パラメータ初期値に関連し、ここでは、所定領域について、限定せず、例えば、外部パラメータ初期値を中間値として決定された１つの所定範囲領域であってもよいし、外部パラメータ初期値を左の区間端点として決定された１つの所定範囲領域などであってもよい。画像座標系は、画像平面の中心を座標原点として、Ｘ軸およびＹ軸をそれぞれ画像平面の２本の垂直辺と平行にすることにより確立された座標系として理解でき、画像座標系は、物理単位（例えば、ミリメートル）で画素の画像における位置を示す座標系と考えられる。光度誤差は、２次元座標点の光度と目標特徴点の光度との間の差値として理解できる。所定領域における各数値は、１つの光度誤差を対応して得ることができる。
本実施例において、所定領域は、対応するカメラの外部パラメータ初期値に関連し、ここでは、所定領域について、限定せず、例えば、外部パラメータ初期値を中間値として決定された１つの所定範囲領域であってもよいし、外部パラメータ初期値を左の区間端点として決定された１つの所定範囲領域などであってもよい。画像座標系は、画像平面の中心を座標原点として、Ｘ軸およびＹ軸をそれぞれ画像平面の２本の垂直辺と平行にすることにより確立された座標系として理解でき、画像座標系は、物理単位（例えば、ミリメートル）で画素の画像における位置を示す座標系と考えられる。光度誤差は、２次元座標点の光度と目標特徴点の光度との間の差値として理解できる。所定領域における各数値は、１つの光度誤差を対応して得ることができる。
【0063】
カメラの対応する各光度誤差のうち、最小光度誤差が対応する数値を、カメラの対応する目標外部パラメータ初期値として決定する。
【0064】
本実施例において、最小光度誤差は、値が最も小さい光度誤差として理解できる。
【0065】
好ましくは、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することは、
第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として決定することを含む。
第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として決定することを含む。
【0066】
好ましくは、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定することは、
前記第１位置姿勢初期値における第１光度誤差値、前記第２位置姿勢初期値における第２光度誤差値、前記第３位置姿勢初期値における第３光度誤差値および前記第４位置姿勢初期値における第４光度誤差値が第１所定条件を満たさなければ、第１所定ステップサイズに基づいて各位置姿勢初期値を、更新後の各位置姿勢初期値における各光度誤差値が第１所定条件を満たすまで更新し、各位置姿勢初期値を各目標位置姿勢初期値として決定することを含み、
そのうち、第１光度誤差値は、第１投影点の光度と第１目標特徴点の光度との間の誤差値であり、第１投影点が、第１位置姿勢初期値において第１カメラの第１有効地図点を第３カメラの画像座標系に投影して得られた点であり、
第２光度誤差値は、第２投影点の光度と第２目標特徴点の光度との間の誤差値であり、第２投影点が、第２位置姿勢初期値において第１カメラの第２有効地図点を第４カメラの画像座標系に投影して得られた点であり、
第３光度誤差値は、第３投影点の光度と第３目標特徴点の光度との間の誤差値であり、第３投影点が、第３位置姿勢初期値において第２カメラの第３有効地図点を第３カメラの画像座標系に投影して得られた点であり、
第４光度誤差値は、第４投影点の光度と第４目標特徴点の光度との間の誤差値であり、第４投影点が、第４位置姿勢初期値において第２カメラの第４有効地図点を第４カメラの画像座標系に投影して得られた点であり、
第１所定条件は、第１光度誤差値が第１閾値に達し、第２光度誤差値が第２閾値に達し、第３光度誤差値が第３閾値に達し、第４光度誤差値が第４閾値に達するというものである。
前記第１位置姿勢初期値における第１光度誤差値、前記第２位置姿勢初期値における第２光度誤差値、前記第３位置姿勢初期値における第３光度誤差値および前記第４位置姿勢初期値における第４光度誤差値が第１所定条件を満たさなければ、第１所定ステップサイズに基づいて各位置姿勢初期値を、更新後の各位置姿勢初期値における各光度誤差値が第１所定条件を満たすまで更新し、各位置姿勢初期値を各目標位置姿勢初期値として決定することを含み、
そのうち、第１光度誤差値は、第１投影点の光度と第１目標特徴点の光度との間の誤差値であり、第１投影点が、第１位置姿勢初期値において第１カメラの第１有効地図点を第３カメラの画像座標系に投影して得られた点であり、
第２光度誤差値は、第２投影点の光度と第２目標特徴点の光度との間の誤差値であり、第２投影点が、第２位置姿勢初期値において第１カメラの第２有効地図点を第４カメラの画像座標系に投影して得られた点であり、
第３光度誤差値は、第３投影点の光度と第３目標特徴点の光度との間の誤差値であり、第３投影点が、第３位置姿勢初期値において第２カメラの第３有効地図点を第３カメラの画像座標系に投影して得られた点であり、
第４光度誤差値は、第４投影点の光度と第４目標特徴点の光度との間の誤差値であり、第４投影点が、第４位置姿勢初期値において第２カメラの第４有効地図点を第４カメラの画像座標系に投影して得られた点であり、
第１所定条件は、第１光度誤差値が第１閾値に達し、第２光度誤差値が第２閾値に達し、第３光度誤差値が第３閾値に達し、第４光度誤差値が第４閾値に達するというものである。
【0067】
本実施例において、車両は、第１カメラの外部パラメータおよび第３カメラの目標外部パラメータ初期値に応じて、所定位置姿勢アルゴリズムによって第１位置姿勢初期値を得て、第１カメラの外部パラメータおよび第４カメラの目標外部パラメータ初期値に応じて、所定位置姿勢アルゴリズムによって第２位置姿勢初期値を得ることができる。相応して、車両は、第２カメラの外部パラメータおよび第３カメラの目標外部パラメータ初期値に応じて、所定位置姿勢アルゴリズムによって第３位置姿勢初期値を得て、第２カメラの外部パラメータおよび第４カメラの目標外部パラメータ初期値に応じて、所定位置姿勢アルゴリズムによって第４位置姿勢初期値を得ることができる。
【0068】
本実施例において、第１閾値は、予め設定された１番目の閾値として理解でき、第２閾値は、予め設定された２番目の閾値として理解でき、第３閾値は、予め設定された３番目の閾値として理解でき、第４閾値は、予め設定された４番目の閾値として理解できる。ここでは、第１閾値、第２閾値、第３閾値および第４閾値について、具体的に限定しない。第１光度誤差値が第１閾値に達するとは、第１光度誤差値が第１閾値よりも小さいかまたは等しいと考えられ、相応して、第２光度誤差値が第２閾値に達するとは、第２光度誤差値が第２閾値よりも小さいかまたは等しいと考えられ、第３光度誤差値が第３閾値に達するとは、第３光度誤差値が第３閾値よりも小さいかまたは等しいと考えられ、第４光度誤差値が第４閾値に達するとは、第４光度誤差値が第４閾値よりも小さいかまたは等しいと考えられる。
【0069】
第１所定ステップサイズは、予め設定されたステップサイズとして理解でき、ここでは、これについて限定しない。ここでは、如何に第１所定ステップサイズに基づき、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および／または第４位置姿勢初期値を更新するかについて、具体的に限定せず、例えば、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および／または第４位置姿勢初期値を第１所定ステップサイズだけ増加したり、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および／または第４位置姿勢初期値を第１所定ステップサイズだけ減少したりしてもよい。第１位置姿勢初期値が更新された後、第１カメラと第３カメラとの間の相対位置姿勢は変化し、対応する第１光度誤差は変化し、相応して、第２位置姿勢初期値が更新された後、第１カメラと第４カメラとの間の相対位置姿勢は変化し、対応する第２光度誤差は変化し、これに基づいて類推することが理解できる。
【0070】
好ましくは、第３カメラの外部パラメータおよび第４カメラの外部パラメータを決定することの後には、
各カメラの外部パラメータで、以下のような数式で誤差指標を決定することがさらに含まれ、
そのうち、Ｅｒｒは、各カメラの外部パラメータの最適化状況を衡量するパラメータ指標である誤差指標であり、Ｅ1は、第１カメラの第１有効地図点が第３カメラの画像座標系に投影された再投影誤差値であり、Ｅ2は、第２カメラの第３有効地図点が第３カメラの画像座標系に投影された再投影誤差値であり、Ｅ3は、第１カメラの第２有効地図点が第４カメラの画像座標系に投影された再投影誤差値であり、Ｅ4は、第２カメラの第４有効地図点が第４カメラの画像座標系に投影された再投影誤差値であり、Ｅ5は、車体オドメーターおよび第１カメラの第１視覚オドメーターに基づいて決定されたハンドアイ校正誤差値であり、Ｅ6は、車体オドメーターおよび第２カメラの第２視覚オドメーターに基づいて決定されたハンドアイ校正誤差値であり、
本実施例において、再投影誤差は、カメラ座標系における有効地図点が画像座標系に投影された点と、画像座標系における真実点との間の画素差として理解できる。ハンドアイ校正誤差値は、ハンドアイ校正原理に基づいて算出された車体オドメーターと視覚オドメーターとの間のオドメーター誤差値として理解できる。
各カメラの外部パラメータで、以下のような数式で誤差指標を決定することがさらに含まれ、
本実施例において、再投影誤差は、カメラ座標系における有効地図点が画像座標系に投影された点と、画像座標系における真実点との間の画素差として理解できる。ハンドアイ校正誤差値は、ハンドアイ校正原理に基づいて算出された車体オドメーターと視覚オドメーターとの間のオドメーター誤差値として理解できる。
【0071】
【0072】
【0073】
誤差指標が誤差閾値に達すれば、各カメラの外部パラメータを各カメラの目標外部パラメータとして決定し、目標外部パラメータは、最適化後の外部パラメータであり、
誤差指標が誤差閾値に達しなければ、第２所定ステップサイズに基づいて少なくとも１つのカメラの外部パラメータを、各カメラの対応する誤差指標が誤差閾値に達するまで更新し、誤差閾値に達する時における対応する各カメラの外部パラメータを各カメラの目標外部パラメータとして決定する。
誤差指標が誤差閾値に達しなければ、第２所定ステップサイズに基づいて少なくとも１つのカメラの外部パラメータを、各カメラの対応する誤差指標が誤差閾値に達するまで更新し、誤差閾値に達する時における対応する各カメラの外部パラメータを各カメラの目標外部パラメータとして決定する。
【0074】
本実施例において、誤差閾値は、予め設定された誤差指標を衡量するための閾値として理解でき、ここでは、これについて具体的に限定しない。第２所定ステップサイズは、予め設定された２番目のステップサイズとして理解でき、ここでは、これについて具体的に限定しない。
【0075】
ここでは、如何に第２所定ステップサイズに基づいて少なくとも１つのカメラの外部パラメータを更新するかについて、具体的に限定せず、例えば、少なくとも１つのカメラの外部パラメータに対して第２所定ステップサイズだけ増加または減少して、新しい外部パラメータを得てもよい。
【0076】
本実施例は、４つのカメラの各外部パラメータ初期値を算出した後、４つのカメラの外部パラメータ初期値を合同で最適化することにより、さらに外部パラメータ校正の精度を向上させる。
【0077】
好ましくは、各カメラの目標外部パラメータを決定することの後には、
各カメラに対して、カメラの目標外部パラメータに基づき、カメラの、カメラの車体座標系に対する回転角度を表す情報であるオイラー角情報、およびカメラの車体座標系に対する平行移動量を表す情報である平行移動ベクトル情報を決定することと、
カメラのオイラー角情報および平行移動ベクトル情報が、オイラー角情報が第１閾値範囲内に、平行移動ベクトル情報が第２閾値範囲内にあるという第２所定条件を満たすか否かを判断することと、
満たせば、カメラの目標外部パラメータ校正が成功したと決定することと、
満たさなければ、カメラの目標外部パラメータ校正が失敗したと決定することと、がさらに含まれる。
各カメラに対して、カメラの目標外部パラメータに基づき、カメラの、カメラの車体座標系に対する回転角度を表す情報であるオイラー角情報、およびカメラの車体座標系に対する平行移動量を表す情報である平行移動ベクトル情報を決定することと、
カメラのオイラー角情報および平行移動ベクトル情報が、オイラー角情報が第１閾値範囲内に、平行移動ベクトル情報が第２閾値範囲内にあるという第２所定条件を満たすか否かを判断することと、
満たせば、カメラの目標外部パラメータ校正が成功したと決定することと、
満たさなければ、カメラの目標外部パラメータ校正が失敗したと決定することと、がさらに含まれる。
【0078】
本実施例において、オイラー角情報は、カメラのピッチ角α、ヨー角βおよびロール角σを含んでもよい。ここでは、如何にカメラの目標外部パラメータに基づいてカメラのオイラー角情報および平行移動ベクトル情報を決定するかについて、具体的に限定せず、例えば、相応するアルゴリズムによってカメラの目標外部パラメータを識別して処理して、カメラのオイラー角情報および平行移動ベクトル情報を得てもよい。
【0079】
第１閾値範囲は、予め設定された１番目の閾値範囲として理解でき、第２閾値範囲は、予め設定された２番目の閾値範囲として理解でき、ここでは、第１閾値範囲および第２閾値範囲について、具体的に限定せず、例えば、第１閾値範囲は、０°＜α＜９０°、－９０°＜β＜９０°、－９０°＜σ＜９０°にされてもよい。
【0080】
実施例３
図５は、本発明の実施例３に係る車載サラウンドビューカメラの外部パラメータ校正装置の構造模式図であり、該装置は、ソフトウェアおよび／またはハードウェアにより実現可能である。図５に示すように、該装置は、第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に配置され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記装置は、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための第１外部パラメータ決定モジュール３１０と、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢決定モジュール３２０と、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定するための初期値決定モジュール３３０と、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定するための第２外部パラメータ決定モジュール３４０と、を備える。
図５は、本発明の実施例３に係る車載サラウンドビューカメラの外部パラメータ校正装置の構造模式図であり、該装置は、ソフトウェアおよび／またはハードウェアにより実現可能である。図５に示すように、該装置は、第１カメラ、第２カメラ、第３カメラおよび第４カメラを備える車載サラウンドビューカメラを備える車両に配置され、前記第１カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記第２カメラの位置が前記第３カメラの位置、前記第４カメラの位置に隣り合い、前記装置は、
前記車両の車体オドメーター情報、前記第１カメラの第１視覚オドメーター情報および前記第２カメラの第２視覚オドメーター情報に応じて、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための第１外部パラメータ決定モジュール３１０と、
前記車体オドメーター情報、前記第１視覚オドメーター情報、前記第２視覚オドメーター情報、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢決定モジュール３２０と、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定するための初期値決定モジュール３３０と、
前記第１カメラの外部パラメータ、前記第２カメラの外部パラメータ、前記第１目標位置姿勢初期値、前記第２目標位置姿勢初期値、前記第３目標位置姿勢初期値および前記第４目標位置姿勢初期値に応じて、前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定するための第２外部パラメータ決定モジュール３４０と、を備える。
【0081】
本実施例は、第１外部パラメータ決定モジュールによって、車両の車体オドメーター情報、第１カメラの第１視覚オドメーター情報および第２カメラの第２視覚オドメーター情報に応じて、第１カメラの外部パラメータおよび第２カメラの外部パラメータを決定し、位置姿勢決定モジュールによって、車体オドメーター情報、第１視覚オドメーター情報、第２視覚オドメーター情報、第１カメラの外部パラメータおよび第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定し、初期値決定モジュールによって、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値に応じて、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値を決定し、第２外部パラメータ決定モジュールによって、第１カメラの外部パラメータ、第２カメラの外部パラメータ、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値に応じて、第３カメラの外部パラメータおよび第４カメラの外部パラメータを決定する。本技術態様は、先に第１カメラおよび第２カメラの視覚オドメーター情報に応じて、対応する外部パラメータを決定してから、第１カメラおよび第２カメラの外部パラメータに応じて第３カメラおよび第４カメラの外部パラメータを決定することにより、外部パラメータを決定するために４つのカメラが全て視覚オドメーター計算を行うことに起因した、カルキュレーションが大きく、かかる時間が長いという問題を回避して、外部パラメータ校正のリアルタイム性を向上させることができ、また、本技術態様は、任意の場面における外部パラメータ校正に応用可能であり、道路の特定のマーカーに依存するという問題を回避し、外部パラメータ校正の汎用性を向上させることができる。
【0082】
好ましくは、第１外部パラメータ決定モジュール３１０は、
前記車体オドメーター情報および各カメラにより採取された画像を取得するための画像取得ユニットと、
前記第１カメラおよび前記第２カメラにより採取された画像に基づき、前記第１視覚オドメーター情報および前記第２視覚オドメーター情報を決定するためのオドメーター決定ユニットと、
前記車体オドメーター情報および決定した視覚オドメーター情報に基づき、所定ハンドアイ校正アルゴリズムによって前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための外部パラメータ決定ユニットと、を備える。
前記車体オドメーター情報および各カメラにより採取された画像を取得するための画像取得ユニットと、
前記第１カメラおよび前記第２カメラにより採取された画像に基づき、前記第１視覚オドメーター情報および前記第２視覚オドメーター情報を決定するためのオドメーター決定ユニットと、
前記車体オドメーター情報および決定した視覚オドメーター情報に基づき、所定ハンドアイ校正アルゴリズムによって前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータを決定するための外部パラメータ決定ユニットと、を備える。
【0083】
好ましくは、位置姿勢決定モジュール３２０は、
前記車体オドメーター情報、前記第１視覚オドメーター情報における第１地図点、前記第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定するための地図点決定ユニットと、
前記第１視覚オドメーター情報および第２視覚オドメーター情報の位置姿勢に応じて、前記第１有効地図点および前記第２有効地図点を第１カメラ座標系に変換して第１座標点および第２座標点を得て、前記第３有効地図点および前記第４有効地図点を第２カメラ座標系に変換して第３座標点および第４座標点を得るための第１変換ユニットと、
前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、それぞれ前記第１座標点、前記第２座標点、前記第３座標点および前記第４座標点を車体座標系に変換して、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点を得るための第２変換ユニットと、
各カメラにより採取された画像、前記第１車体座標点、前記第２車体座標点、前記第３車体座標点および前記第４車体座標点に応じて、前記第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに前記第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定するための外部パラメータ初期値決定ユニットと、
前記第１目標外部パラメータ初期値、前記第２目標外部パラメータ初期値、前記第３目標外部パラメータ初期値、前記第４目標外部パラメータ初期値、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢初期値決定ユニットと、を備える。
前記車体オドメーター情報、前記第１視覚オドメーター情報における第１地図点、前記第２視覚オドメーター情報における第２地図点および各カメラの採取範囲に応じて、第１有効地図点、第２有効地図点、第３有効地図点および第４有効地図点を決定するための地図点決定ユニットと、
前記第１視覚オドメーター情報および第２視覚オドメーター情報の位置姿勢に応じて、前記第１有効地図点および前記第２有効地図点を第１カメラ座標系に変換して第１座標点および第２座標点を得て、前記第３有効地図点および前記第４有効地図点を第２カメラ座標系に変換して第３座標点および第４座標点を得るための第１変換ユニットと、
前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、それぞれ前記第１座標点、前記第２座標点、前記第３座標点および前記第４座標点を車体座標系に変換して、第１車体座標点、第２車体座標点、第３車体座標点および第４車体座標点を得るための第２変換ユニットと、
各カメラにより採取された画像、前記第１車体座標点、前記第２車体座標点、前記第３車体座標点および前記第４車体座標点に応じて、前記第３カメラの第１目標外部パラメータ初期値および第２目標外部パラメータ初期値、並びに前記第４カメラの第３目標外部パラメータ初期値および第４目標外部パラメータ初期値を決定するための外部パラメータ初期値決定ユニットと、
前記第１目標外部パラメータ初期値、前記第２目標外部パラメータ初期値、前記第３目標外部パラメータ初期値、前記第４目標外部パラメータ初期値、前記第１カメラの外部パラメータおよび前記第２カメラの外部パラメータに応じて、第１位置姿勢初期値、第２位置姿勢初期値、第３位置姿勢初期値および第４位置姿勢初期値を決定するための位置姿勢初期値決定ユニットと、を備える。
【0084】
好ましくは、地図点決定ユニットは、
前記車体オドメーター情報における車体運動軌跡情報および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、現実世界のスケールと、カメラにより構築された３次元地図のスケールとの間の比率を表すパラメータであるスケール因子を決定するための因子決定サブユニットと、
前記スケール因子に基づいて前記第１地図点および前記第２地図点を比例変換して、前記第１地図点の現実世界のスケールにおける第１現実地図点、および前記第２地図点の現実世界のスケールにおける第２現実地図点を得るための変換サブユニットと、
各カメラの採取範囲に応じて、前記第１カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第１オーバーラップ領域、前記第１カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第２オーバーラップ領域、前記第２カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第３オーバーラップ領域、および前記第２カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第４オーバーラップ領域を決定するための領域決定ユニットと、
前記第１現実地図点の前記第１オーバーラップ領域における地図点を第１有効地図点として決定し、前記第１現実地図点の前記第２オーバーラップ領域における地図点を第２有効地図点として決定し、前記第２現実地図点の前記第３オーバーラップ領域における地図点を第３有効地図点として決定し、前記第２現実地図点の前記第４オーバーラップ領域における地図点を第４有効地図点として決定するための地図点決定サブユニットと、を備える。
前記車体オドメーター情報における車体運動軌跡情報および決定した視覚オドメーター情報におけるカメラ運動軌跡情報に基づき、現実世界のスケールと、カメラにより構築された３次元地図のスケールとの間の比率を表すパラメータであるスケール因子を決定するための因子決定サブユニットと、
前記スケール因子に基づいて前記第１地図点および前記第２地図点を比例変換して、前記第１地図点の現実世界のスケールにおける第１現実地図点、および前記第２地図点の現実世界のスケールにおける第２現実地図点を得るための変換サブユニットと、
各カメラの採取範囲に応じて、前記第１カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第１オーバーラップ領域、前記第１カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第２オーバーラップ領域、前記第２カメラと前記第３カメラとの間の採取範囲のオーバーラップ領域である第３オーバーラップ領域、および前記第２カメラと前記第４カメラとの間の採取範囲のオーバーラップ領域である第４オーバーラップ領域を決定するための領域決定ユニットと、
前記第１現実地図点の前記第１オーバーラップ領域における地図点を第１有効地図点として決定し、前記第１現実地図点の前記第２オーバーラップ領域における地図点を第２有効地図点として決定し、前記第２現実地図点の前記第３オーバーラップ領域における地図点を第３有効地図点として決定し、前記第２現実地図点の前記第４オーバーラップ領域における地図点を第４有効地図点として決定するための地図点決定サブユニットと、を備える。
【0085】
好ましくは、外部パラメータ初期値決定ユニットは、
各カメラにより採取された画像に応じて、前記第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点である第１目標特徴点、前記第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点である第２目標特徴点、前記第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点である第３目標特徴点、前記第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点である第４目標特徴点を決定するための特徴点決定サブユニットと、
各車体座標点および各目標特徴点に応じて、ＰＮＰ方法によって、前記第３カメラの第１外部パラメータ初期値および第２外部パラメータ初期値、並びに前記第４カメラの第３外部パラメータ初期値および第４外部パラメータ初期値を決定するための第１初期値決定サブユニットと、
前記第３カメラおよび前記第４カメラのうちの各カメラに対して、対応するカメラの外部パラメータ初期値に関連する、前記カメラの所定領域における各数値について、前記カメラの外部パラメータ初期値を前記数値に更新し、前記カメラが対応する車体座標点を前記カメラの画像座標系に投影して対応する２次元座標点を得て、前記カメラの対応する２次元座標点と目標特徴点との間の光度誤差を決定するための誤差決定サブユニットと、
前記カメラの対応する各光度誤差のうち、最小光度誤差が対応する数値を、前記カメラの対応する目標外部パラメータ初期値として決定するための第２初期値決定サブユニットと、を備える。
各カメラにより採取された画像に応じて、前記第１カメラおよび第３カメラが特徴点のマッチングによって得られた第１車体座標点の第３カメラの画像における対応する特徴点である第１目標特徴点、前記第１カメラおよび第４カメラが特徴点のマッチングによって得られた第２車体座標点の第４カメラの画像における対応する特徴点である第２目標特徴点、前記第２カメラおよび第３カメラが特徴点のマッチングによって得られた第３車体座標点の第３カメラの画像における対応する特徴点である第３目標特徴点、前記第２カメラおよび第４カメラが特徴点のマッチングによって得られた第４車体座標点の第４カメラの画像における対応する特徴点である第４目標特徴点を決定するための特徴点決定サブユニットと、
各車体座標点および各目標特徴点に応じて、ＰＮＰ方法によって、前記第３カメラの第１外部パラメータ初期値および第２外部パラメータ初期値、並びに前記第４カメラの第３外部パラメータ初期値および第４外部パラメータ初期値を決定するための第１初期値決定サブユニットと、
前記第３カメラおよび前記第４カメラのうちの各カメラに対して、対応するカメラの外部パラメータ初期値に関連する、前記カメラの所定領域における各数値について、前記カメラの外部パラメータ初期値を前記数値に更新し、前記カメラが対応する車体座標点を前記カメラの画像座標系に投影して対応する２次元座標点を得て、前記カメラの対応する２次元座標点と目標特徴点との間の光度誤差を決定するための誤差決定サブユニットと、
前記カメラの対応する各光度誤差のうち、最小光度誤差が対応する数値を、前記カメラの対応する目標外部パラメータ初期値として決定するための第２初期値決定サブユニットと、を備える。
【0086】
好ましくは、初期値決定モジュール３３０は、
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値を、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として決定するための第１初期値決定ユニットを備える。
前記第１位置姿勢初期値、前記第２位置姿勢初期値、前記第３位置姿勢初期値および前記第４位置姿勢初期値を、第１目標位置姿勢初期値、第２目標位置姿勢初期値、第３目標位置姿勢初期値および第４目標位置姿勢初期値として決定するための第１初期値決定ユニットを備える。
【0087】
好ましくは、初期値決定モジュール３３０は、
前記第１位置姿勢初期値における第１光度誤差値、前記第２位置姿勢初期値における第２光度誤差値、前記第３位置姿勢初期値における第３光度誤差値および前記第４位置姿勢初期値における第４光度誤差値が第１所定条件を満たさなければ、第１所定ステップサイズに基づいて各前記位置姿勢初期値を、更新後の各前記位置姿勢初期値における各光度誤差値が第１所定条件を満たすまで更新し、各前記位置姿勢初期値を各前記目標位置姿勢初期値として決定するための第２初期値決定ユニットをさらに備え、
そのうち、前記第１光度誤差値は、第１投影点の光度と、第１目標特徴点の光度との間の誤差値であり、前記第１投影点が第１位置姿勢初期値において前記第１カメラの第１有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第２光度誤差値は、第２投影点の光度と第２目標特徴点の光度との間の誤差値であり、前記第２投影点が、第２位置姿勢初期値において前記第１カメラの第２有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第３光度誤差値は、第３投影点の光度と第３目標特徴点の光度との間の誤差値であり、前記第３投影点が第３位置姿勢初期値において前記第２カメラの第３有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第４光度誤差値は、第４投影点の光度と第４目標特徴点の光度との間の誤差値であり、前記第４投影点が第４位置姿勢初期値において前記第２カメラの第４有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第１所定条件は、前記第１光度誤差値が第１閾値に達し、前記第２光度誤差値が第２閾値に達し、前記第３光度誤差値が第３閾値に達し、前記第４光度誤差値が第４閾値に達するというものである。
前記第１位置姿勢初期値における第１光度誤差値、前記第２位置姿勢初期値における第２光度誤差値、前記第３位置姿勢初期値における第３光度誤差値および前記第４位置姿勢初期値における第４光度誤差値が第１所定条件を満たさなければ、第１所定ステップサイズに基づいて各前記位置姿勢初期値を、更新後の各前記位置姿勢初期値における各光度誤差値が第１所定条件を満たすまで更新し、各前記位置姿勢初期値を各前記目標位置姿勢初期値として決定するための第２初期値決定ユニットをさらに備え、
そのうち、前記第１光度誤差値は、第１投影点の光度と、第１目標特徴点の光度との間の誤差値であり、前記第１投影点が第１位置姿勢初期値において前記第１カメラの第１有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第２光度誤差値は、第２投影点の光度と第２目標特徴点の光度との間の誤差値であり、前記第２投影点が、第２位置姿勢初期値において前記第１カメラの第２有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第３光度誤差値は、第３投影点の光度と第３目標特徴点の光度との間の誤差値であり、前記第３投影点が第３位置姿勢初期値において前記第２カメラの第３有効地図点を前記第３カメラの画像座標系に投影して得られた点であり、
前記第４光度誤差値は、第４投影点の光度と第４目標特徴点の光度との間の誤差値であり、前記第４投影点が第４位置姿勢初期値において前記第２カメラの第４有効地図点を前記第４カメラの画像座標系に投影して得られた点であり、
前記第１所定条件は、前記第１光度誤差値が第１閾値に達し、前記第２光度誤差値が第２閾値に達し、前記第３光度誤差値が第３閾値に達し、前記第４光度誤差値が第４閾値に達するというものである。
【0088】
好ましくは、該装置は、
前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定した後、各カメラの外部パラメータで、以下のような数式で誤差指標を決定し、
そのうち、Ｅｒｒは、各カメラの外部パラメータの最適化状況を衡量するパラメータ指標である前記誤差指標であり、Ｅ1は、前記第１カメラの第１有効地図点が前記第３カメラの画像座標系に投影された再投影誤差値であり、Ｅ2は、前記第２カメラの第３有効地図点が前記第３カメラの画像座標系に投影された再投影誤差値であり、Ｅ3は、前記第１カメラの第２有効地図点が前記第４カメラの画像座標系に投影された再投影誤差値であり、Ｅ4は、前記第２カメラの第４有効地図点が前記第４カメラの画像座標系に投影された再投影誤差値であり、Ｅ5は、前記車体オドメーターおよび前記第１カメラの第１視覚オドメーターに基づいて決定されたハンドアイ校正誤差値であり、Ｅ6は、前記車体オドメーターおよび前記第２カメラの第２視覚オドメーターに基づいて決定されたハンドアイ校正誤差値であるための指標決定モジュールと、
前記誤差指標が誤差閾値に達すれば、各カメラの外部パラメータを各カメラの最適化後の外部パラメータである目標外部パラメータとして決定するための第３外部パラメータ決定モジュールと、
前記誤差指標が誤差閾値に達しなければ、第２所定ステップサイズに基づき、少なくとも１つのカメラの外部パラメータを、各カメラの対応する誤差指標が誤差閾値に達するまで更新し、誤差閾値に達する時における対応する各カメラの外部パラメータを各カメラの目標外部パラメータとして決定するための第４外部パラメータ決定モジュールと、をさらに備える。
前記第３カメラの外部パラメータおよび前記第４カメラの外部パラメータを決定した後、各カメラの外部パラメータで、以下のような数式で誤差指標を決定し、
前記誤差指標が誤差閾値に達すれば、各カメラの外部パラメータを各カメラの最適化後の外部パラメータである目標外部パラメータとして決定するための第３外部パラメータ決定モジュールと、
前記誤差指標が誤差閾値に達しなければ、第２所定ステップサイズに基づき、少なくとも１つのカメラの外部パラメータを、各カメラの対応する誤差指標が誤差閾値に達するまで更新し、誤差閾値に達する時における対応する各カメラの外部パラメータを各カメラの目標外部パラメータとして決定するための第４外部パラメータ決定モジュールと、をさらに備える。
【0089】
好ましくは、該装置は、
各カメラの目標外部パラメータを決定した後、各カメラに対して、前記カメラの目標外部パラメータに基づき、前記カメラの、前記カメラの車体座標系に対する回転角度を表す情報であるオイラー角情報、および前記カメラの車体座標系に対する平行移動量を表す情報である平行移動ベクトル情報を決定するための情報決定モジュールと、
前記カメラのオイラー角情報および平行移動ベクトル情報が、前記オイラー角情報が第１閾値範囲内に、前記平行移動ベクトル情報が第２閾値範囲内にあるという第２所定条件を満たすか否かを判断するための判断モジュールと、
満たせば、前記カメラの目標外部パラメータ校正が成功したと決定するための第１校正モジュールと、
満たさなければ、前記カメラの目標外部パラメータ校正が失敗したと決定するための第２校正モジュールと、をさらに備える。
各カメラの目標外部パラメータを決定した後、各カメラに対して、前記カメラの目標外部パラメータに基づき、前記カメラの、前記カメラの車体座標系に対する回転角度を表す情報であるオイラー角情報、および前記カメラの車体座標系に対する平行移動量を表す情報である平行移動ベクトル情報を決定するための情報決定モジュールと、
前記カメラのオイラー角情報および平行移動ベクトル情報が、前記オイラー角情報が第１閾値範囲内に、前記平行移動ベクトル情報が第２閾値範囲内にあるという第２所定条件を満たすか否かを判断するための判断モジュールと、
満たせば、前記カメラの目標外部パラメータ校正が成功したと決定するための第１校正モジュールと、
満たさなければ、前記カメラの目標外部パラメータ校正が失敗したと決定するための第２校正モジュールと、をさらに備える。
【0090】
本発明の実施例に係る車載サラウンドビューカメラの外部パラメータ校正装置は、本発明の任意の実施例に係る車載サラウンドビューカメラの外部パラメータ校正方法を実行可能であり、方法の実行に対応する機能モジュール及び有益な効果を備える。
【0091】
実施例４
図６は、本発明の実施例４に係る車両の構造模式図である。図６に示すように、車両１０は、車載サラウンドビューカメラ２０、少なくとも１つのプロセッサ１１、および少なくとも１つのプロセッサ１１に通信接続されるメモリ、例えば、リードオンリーメモリ（ＲＯＭ）１２、ランダムアクセスメモリ（ＲＡＭ）１３などを備え、そのうち、メモリには、少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、プロセッサ１１は、リードオンリーメモリ（ＲＯＭ）１２に記憶されたコンピュータプログラム又は記憶ユニット１８からランダムアクセスメモリ（ＲＡＭ）１３にロードされたコンピュータプログラムに応じて、様々な適切な動作および処理を実行可能である。ＲＡＭ１３には、車両１０の操作に必要となる様々なプログラムおよびデータがさらに記憶されている。車載サラウンドビューカメラ２０、プロセッサ１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース１５もバス１４に接続されている。
図６は、本発明の実施例４に係る車両の構造模式図である。図６に示すように、車両１０は、車載サラウンドビューカメラ２０、少なくとも１つのプロセッサ１１、および少なくとも１つのプロセッサ１１に通信接続されるメモリ、例えば、リードオンリーメモリ（ＲＯＭ）１２、ランダムアクセスメモリ（ＲＡＭ）１３などを備え、そのうち、メモリには、少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、プロセッサ１１は、リードオンリーメモリ（ＲＯＭ）１２に記憶されたコンピュータプログラム又は記憶ユニット１８からランダムアクセスメモリ（ＲＡＭ）１３にロードされたコンピュータプログラムに応じて、様々な適切な動作および処理を実行可能である。ＲＡＭ１３には、車両１０の操作に必要となる様々なプログラムおよびデータがさらに記憶されている。車載サラウンドビューカメラ２０、プロセッサ１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース１５もバス１４に接続されている。
【0092】
Ｉ／Ｏインタフェース１５には、例えばキーボード、マウス等の入力ユニット１６と、例えば様々なタイプのディスプレイ、スピーカ等の出力ユニット１７と、例えば磁気ディスク、光ディスク等の記憶ユニット１８と、例えばネットワークカード、モデム、無線通信送受信機等の通信ユニット１９と、を備える車両１０における複数の部品が接続される。通信ユニット１９は、車両１０が例えばインターネットのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して、他のデバイスと情報／データを交換することを可能にする。
【0093】
プロセッサ１１は、様々な、処理および計算能力を有する汎用および／または専用処理構成要素であってもよい。プロセッサ１１のいくつかの例には、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な、機械学習モデルのアルゴリズムを実行するプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が含まれるが、これらに限定されない。プロセッサ１１は、上記に説明された各方法および処理、例えば車載サラウンドビューカメラの外部パラメータ校正方法を実行する。
【0094】
いくつかの実施例において、車載サラウンドビューカメラの外部パラメータ校正方法は、コンピュータプログラムとして実現可能であり、これはコンピュータ可読記憶媒体、例えば記憶ユニット１８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムは、一部または全部がＲＯＭ１２および／または通信ユニット１９を介して車両１０にロードおよび／またはインストールされることができる。コンピュータプログラムがＲＡＭ１３にロードされてプロセッサ１１によって実行されると、上記した車載サラウンドビューカメラの外部パラメータ校正方法の１つまたは複数のステップを実行可能である。或いは、他の実施例において、プロセッサ１１は、他の任意の適切な方式によって（例えば、ファームウェアによって）、車載サラウンドビューカメラの外部パラメータ校正方法を実行するように構成される。
【0095】
本明細書において、上記したシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特殊用途向け汎用品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組合せで実現可能である。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムに実施されることを含んでもよく、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムに実行および／または解釈されることができ、該プログラマブルプロセッサは、メモリシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信して、データおよび命令を該メモリシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用プログラマブルプロセッサであってもよい。
【0096】
本発明の方法を実施するためのコンピュータプログラムは、１つまたは複数のプログラミング言語の任意の組合せを採用して書かれてもよい。これらのコンピュータプログラムは、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供可能であり、これにより、コンピュータプログラムがプロセッサによって実行されると、フローチャートおよび／またはブロック図で規定された機能／操作が実施される。コンピュータプログラムは、完全に機器で実行されても、部分的に機器で実行されてもよく、独立ソフトウェアパッケージとして、部分的に機器で実行され且つ部分的にリモート機器で実行され、または、完全にリモート機器またはサーバで実行されてもよい。
【0097】
本発明のコンテキストにおいて、コンピュータ可読記憶媒体は、命令実行システム、装置または機器に使用され、または命令実行システム、装置または機器と組み合わせて使用されるコンピュータプログラムを含むかまたは記憶することができる有形的な媒体であってもよい。コンピュータ可読記憶媒体には、電子的なもの、磁気的なもの、光学的なもの、電磁的なもの、赤外線的なもの、または半導体システム、装置または機器、または上記の内容の任意の適切な組合せが含まれてもよいが、これらに限定されない。オプションとして、コンピュータ可読記憶媒体は、機器読取可能な信号媒体であってもよい。機械可読記憶媒体のより具体的な例示は、１つまたは複数のラインによる電気的な接続、可搬型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、可搬型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光メモリデバイス、磁気メモリデバイス、または上記の内容の任意の適切な組合せを含む。
【0098】
ユーザとのインタラクションを提供するために、ここで説明されるシステムおよび技術は車両で実施されることができ、該車両は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター）、およびキーボードやポインティング装置（例えば、マウスまたはトラックボール）を有し、ユーザは、該キーボードや該ポインティング装置によって入力を車両に提供することができる。他の種類の装置は、ユーザとのインタラクションを提供することに使用可能であり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、ユーザからの入力を任意の形式（音入力、音声入力または触感入力を含む）で受信することができる。
【0099】
ここで説明されるシステムおよび技術は、バックグランドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）に、または、ミドルウェアコンポーネントを含むコンピューティングシステム（アプリケーションサーバなど）に、または、フロントエンドコンポーネントを含むコンピューティングシステム（図形式のユーザインタフェースやネットワークブラウザを有するユーザコンピュータであり、ユーザは、該図形式のユーザインタフェースや該ネットワークブラウザを通じてここで説明されるシステムおよび技術の実施形態とイントラクションをすることができる）に、またはこのようなバックグランドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムに実施されてもよい。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって互いに接続されてもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、、ブロックチェーンネットワークおよびインターネットを含む。
【0100】
コンピューティングシステムは、クライアント端末およびサーバを含んでもよい。クライアント端末およびサーバは一般的に、互いに離れており、且つ通常、通信ネットワークを介してイントラクションをしている。相応するコンピュータでの実行、および、互いにクライアント端末・サーバという関係を有するコンピュータプログラムにより、クライアント端末とサーバとの関係を築き上げる。サーバは、伝統的な物理ホストおよびＶＰＳサービスに存在する管理の難度が大きく、業務展開性が弱いという欠陥を解決するための、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれる、クラウドコンピューティングサービスシステムにおける１つのホスティングプロダクトであるクラウドサーバであってもよい。
【0101】
上記に示した様々な形式のフローを使用し、ステップを並べ替えたり、追加したり、削除したりすることができることを理解すべきである。例えば、本発明に記載の各ステップは、本発明に係る技術態様の所望の結果が実現できれば、並行して実行されてよいし、順次実行されてもよいし、異なる順序で実行されてもよく、本明細書において、ここで限定されない。
【0102】
上記の具体的な実施形態は、本発明の保護範囲を限定するものではない。当業者であれば、設計要求や他の要素に基づいて様々な修正、組み合わせ、サブ組み合わせおよび置換が可能であることを理解すべきである。任意の、本発明の精神および原則内で行われる修正、均等な置換および改良などは、いずれも本発明の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】