知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-15527(P2015-15527A)
(43)【公開日】2015年1月22日
(54)【発明の名称】映像表示システム、映像合成装置及び映像合成方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20141219BHJP
B60R 21/00 20060101ALI20141219BHJP
B60R 1/00 20060101ALI20141219BHJP
【ＦＩ】
H04N7/18 J
B60R21/00 626G
B60R1/00 A
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【全頁数】28
(21)【出願番号】特願2013-139663(P2013-139663)
(22)【出願日】2013年7月3日
(71)【出願人】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜特許業務法人
(72)【発明者】
【氏名】坂庭 秀紀
(72)【発明者】
【氏名】内田 吉孝
(72)【発明者】
【氏名】小野崎 勝夫
(72)【発明者】
【氏名】塩屋 崇之
(72)【発明者】
【氏名】樋口 晴彦
(72)【発明者】
【氏名】中嶋 満雄
(72)【発明者】
【氏名】▲高▼野橋 健太
【テーマコード（参考）】
5C054
【Ｆターム（参考）】
5C054CC02
5C054FC12
5C054FD03
5C054FE12
5C054FE19
5C054HA30
(57)【要約】
【課題】仮想空間を形成し画像を投影した際に、走行状況に応じて仮想カメラの位置（視点）を決め、その見え方を改善する。【解決手段】複数のカメラ映像を入力とし、車両情報部と、空間生成部と、画像変換部と、カメラ情報部とを備え、車両情報部から取得した走行状況の情報に応じて、空間生成部がカメラで撮影可能な範囲の周囲空間を生成し、画像変換部がカメラの画像に基づく画像を作成して、生成された空間に投射する。また、画像変換部はカメラ情報部が設定した仮想カメラ位置から見た複数のカメラの画像の合成画像を、仮想カメラの位置或いは画像合成時のブレンド率を変化させながら作成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体を撮影するための複数のカメラと、当該の複数のカメラが撮影した映像を合成する映像合成装置と、当該の映像合成装置が合成して生成した画像を表示するモニタとを有する映像表示システムであって、
前記映像合成装置は、
前記映像表示システムを搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に前記映像合成装置が生成する合成映像の視点を定め当該の視点に応じた空間を生成する空間生成部と、
当該の空間生成部が生成した空間に応じて前記複数のカメラが撮像した映像を合成した合成画像を生成する画像変換部と、
当該の画像変換部が生成した前記合成画像を２次元で表示するようエンコードして前記モニタに供給するエンコード部と、
前記映像合成装置の動作を制御する制御部
を有することを特徴とする映像表示システム。
前記映像合成装置は、
前記映像表示システムを搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に前記映像合成装置が生成する合成映像の視点を定め当該の視点に応じた空間を生成する空間生成部と、
当該の空間生成部が生成した空間に応じて前記複数のカメラが撮像した映像を合成した合成画像を生成する画像変換部と、
当該の画像変換部が生成した前記合成画像を２次元で表示するようエンコードして前記モニタに供給するエンコード部と、
前記映像合成装置の動作を制御する制御部
を有することを特徴とする映像表示システム。
【請求項2】
請求項１に記載の映像表示システムであって、
前記空間生成部は、少なくも一部が球面であるよう前記空間を生成し、前記車両情報が有する前記車両の速度に係る情報に基づいて、前記球面の半径を定める
ことを特徴とする映像表示システム。
前記空間生成部は、少なくも一部が球面であるよう前記空間を生成し、前記車両情報が有する前記車両の速度に係る情報に基づいて、前記球面の半径を定める
ことを特徴とする映像表示システム。
【請求項3】
請求項１に記載の映像表示システムであって、
前記空間生成部は、少なくも一部が球面であるよう前記空間を生成し、前記車両情報が有する前記車両の走行方向に係る情報に基づいて、前記球面の中心位置を定める
ことを特徴とする映像表示システム。
前記空間生成部は、少なくも一部が球面であるよう前記空間を生成し、前記車両情報が有する前記車両の走行方向に係る情報に基づいて、前記球面の中心位置を定める
ことを特徴とする映像表示システム。
【請求項4】
請求項１に記載の映像表示システムであって、
前記空間生成部は、前記車両情報が有する前記車両に係る情報に基づいて、前記視点を定める
ことを特徴とする映像表示システム。
前記空間生成部は、前記車両情報が有する前記車両に係る情報に基づいて、前記視点を定める
ことを特徴とする映像表示システム。
【請求項5】
請求項４に記載の映像表示システムであって、
前記空間生成部は、前記車両情報が有する前記車両の速度に係る情報に基づいて、前記視点を定める
ことを特徴とする映像表示システム。
前記空間生成部は、前記車両情報が有する前記車両の速度に係る情報に基づいて、前記視点を定める
ことを特徴とする映像表示システム。
【請求項6】
請求項４に記載の映像表示システムであって、
前記空間生成部は、前記車両情報が有する前記車両の走行方向に係る情報に基づいて、前記視点を定める
ことを特徴とする映像表示システム。
前記空間生成部は、前記車両情報が有する前記車両の走行方向に係る情報に基づいて、前記視点を定める
ことを特徴とする映像表示システム。
【請求項7】
請求項４に記載の映像表示システムであって、
前記画像変換部が合成して生成した合成画像において、互いに異なる複数の前記カメラが撮像した映像が重畳して合成される領域を有する場合には、
前記画像変換部は、前記空間生成部が定めた前記視点に応じて前記領域における合成画像において前記複数のカメラが撮像した映像の合成率を定める
ことを特徴とする映像表示システム。
前記画像変換部が合成して生成した合成画像において、互いに異なる複数の前記カメラが撮像した映像が重畳して合成される領域を有する場合には、
前記画像変換部は、前記空間生成部が定めた前記視点に応じて前記領域における合成画像において前記複数のカメラが撮像した映像の合成率を定める
ことを特徴とする映像表示システム。
【請求項8】
請求項７に記載の映像表示システムであって、
前記画像変換部は、前記空間生成部が定めた前記視点の方向と前記複数のカメラの各光軸方向とに基づいて算出する角度に基づいて前記合成率を定めるものであり、
前記複数のカメラのうち前記角度の小さいカメラが撮像した映像の合成率を高めて前記合成映像を生成する
ことを特徴とする映像表示システム。
前記画像変換部は、前記空間生成部が定めた前記視点の方向と前記複数のカメラの各光軸方向とに基づいて算出する角度に基づいて前記合成率を定めるものであり、
前記複数のカメラのうち前記角度の小さいカメラが撮像した映像の合成率を高めて前記合成映像を生成する
ことを特徴とする映像表示システム。
【請求項9】
請求項７に記載の映像表示システムであって、
前記空間生成部は、前記車両情報が有する前記車両の速度、走行方向、又はハンドルの角度に係る情報に基づき前記視点を定める
ことを特徴とする映像表示システム。
前記空間生成部は、前記車両情報が有する前記車両の速度、走行方向、又はハンドルの角度に係る情報に基づき前記視点を定める
ことを特徴とする映像表示システム。
【請求項10】
請求項４に記載の映像表示システムであって、
周囲の立体物までの距離を算出するセンサを備え、
前記空間生成部は、前記センサから供給された前記距離に係る情報に基づき、最も近い距離に存在する前記立体物までの距離に相当する半径を有する平面を含む前記空間を生成する
ことを特徴とする映像表示システム。
周囲の立体物までの距離を算出するセンサを備え、
前記空間生成部は、前記センサから供給された前記距離に係る情報に基づき、最も近い距離に存在する前記立体物までの距離に相当する半径を有する平面を含む前記空間を生成する
ことを特徴とする映像表示システム。
【請求項11】
請求項１に記載の映像表示システムであって、
前記空間生成部は、前記複数のカメラの各々に対して前記視点を定め当該の視点に応じた空間を生成する
ことを特徴とする映像表示システム。
前記空間生成部は、前記複数のカメラの各々に対して前記視点を定め当該の視点に応じた空間を生成する
ことを特徴とする映像表示システム。
【請求項12】
請求項１１に記載の映像表示システムであって、
前記画像変換部が合成して生成した合成画像において、互いに異なる複数の前記カメラが撮像した映像が重畳して合成される領域を有する場合には、
前記画像変換部は、前記空間生成部が定めた前記視点に応じて前記領域における合成画像において前記複数のカメラが撮像した映像の合成率を定める
ことを特徴とする映像表示システム。
前記画像変換部が合成して生成した合成画像において、互いに異なる複数の前記カメラが撮像した映像が重畳して合成される領域を有する場合には、
前記画像変換部は、前記空間生成部が定めた前記視点に応じて前記領域における合成画像において前記複数のカメラが撮像した映像の合成率を定める
ことを特徴とする映像表示システム。
【請求項13】
被写体を撮影するための複数のカメラから映像が供給され、当該の映像を合成して出力する映像合成装置であって、
前記映像合成装置を搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に生成する合成映像の視点を定め当該の視点に応じた空間を生成する空間生成部と、
当該の空間生成部が生成した空間に応じて供給された前記映像を合成した合成画像を生成する画像変換部と、
当該の画像変換部が生成した前記合成画像を２次元で表示するようエンコードして出力するエンコード部と、
前記映像合成装置の動作を制御する制御部
を有することを特徴とする映像合成装置。
前記映像合成装置を搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に生成する合成映像の視点を定め当該の視点に応じた空間を生成する空間生成部と、
当該の空間生成部が生成した空間に応じて供給された前記映像を合成した合成画像を生成する画像変換部と、
当該の画像変換部が生成した前記合成画像を２次元で表示するようエンコードして出力するエンコード部と、
前記映像合成装置の動作を制御する制御部
を有することを特徴とする映像合成装置。
【請求項14】
被写体を撮影するための複数のカメラと、当該の複数のカメラが撮影した映像を合成する映像合成装置と、当該の映像合成装置が合成して生成した画像を表示するモニタとを有する映像表示システムにおける映像合成方法であって、
前記映像表示システムを搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に前記映像合成装置が生成する合成映像の視点を定め、
当該の視点に応じた空間を生成し、
当該の空間に応じて前記複数のカメラが撮像した映像を合成した合成画像を生成し、
当該の合成画像を２次元で表示するようエンコードし、
エンコードされた合成画像を表示する
ことを特徴とする映像合成方法。
前記映像表示システムを搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に前記映像合成装置が生成する合成映像の視点を定め、
当該の視点に応じた空間を生成し、
当該の空間に応じて前記複数のカメラが撮像した映像を合成した合成画像を生成し、
当該の合成画像を２次元で表示するようエンコードし、
エンコードされた合成画像を表示する
ことを特徴とする映像合成方法。
【請求項15】
複数のカメラが撮影した映像を合成してモニタに表示する映像表示システムであって、
複数のカメラと、
前記複数のカメラが撮影した映像を合成する映像合成装置と、
前記映像合成装置が合成して生成した画像を表示するモニタとを備え、
前記映像合成装置は、
複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定する空間生成部と、
前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する画像変換部と、
当該の画像変換部が生成した前記合成画像を、前記モニタに表示するために２次元画像データとしてエンコードするエンコード部と、
前記映像合成装置が搭載される車両に関する車両情報を取得する車両情報取得部と、
を有し、
前記空間生成部は、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得部で取得した車両情報に応じて変更し、
前記画像変換部は、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記空間生成部で変更した前記仮想的な視点からの視線方向の設定に応じて変更する
ことを特徴とする映像表示システム。
複数のカメラと、
前記複数のカメラが撮影した映像を合成する映像合成装置と、
前記映像合成装置が合成して生成した画像を表示するモニタとを備え、
前記映像合成装置は、
複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定する空間生成部と、
前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する画像変換部と、
当該の画像変換部が生成した前記合成画像を、前記モニタに表示するために２次元画像データとしてエンコードするエンコード部と、
前記映像合成装置が搭載される車両に関する車両情報を取得する車両情報取得部と、
を有し、
前記空間生成部は、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得部で取得した車両情報に応じて変更し、
前記画像変換部は、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記空間生成部で変更した前記仮想的な視点からの視線方向の設定に応じて変更する
ことを特徴とする映像表示システム。
【請求項16】
請求項１５に記載の映像表示システムであって、
前記画像変換部は、前記空間生成部によって変更された前記仮想的な視点からの視線方向と前記前記複数のカメラのそれぞれの光軸とに基づいて算出した角度に基づいて前記合成率を変更することを特徴とする映像表示システム。
前記画像変換部は、前記空間生成部によって変更された前記仮想的な視点からの視線方向と前記前記複数のカメラのそれぞれの光軸とに基づいて算出した角度に基づいて前記合成率を変更することを特徴とする映像表示システム。
【請求項17】
請求項１６に記載の映像表示システムであって、
前記画像変換部における前記合成率の変更処理には、前記空間生成部によって前記仮想的な視点からの視線方向が変更された際に、前記複数のカメラの映像のうち、変更後の前記仮想的な視点からの視線方向の角度が、変更前より近づく角度の光軸を有するカメラの映像の合成率を高める状態があることを特徴とする映像表示システム。
前記画像変換部における前記合成率の変更処理には、前記空間生成部によって前記仮想的な視点からの視線方向が変更された際に、前記複数のカメラの映像のうち、変更後の前記仮想的な視点からの視線方向の角度が、変更前より近づく角度の光軸を有するカメラの映像の合成率を高める状態があることを特徴とする映像表示システム。
【請求項18】
請求項１５に記載の映像表示システムであって、
前記空間生成部は、前記車両情報が有する前記車両の速度、走行方向、又はハンドルの角度に係る情報に基づき前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を変更する
ことを特徴とする映像表示システム。
前記空間生成部は、前記車両情報が有する前記車両の速度、走行方向、又はハンドルの角度に係る情報に基づき前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を変更する
ことを特徴とする映像表示システム。
【請求項19】
複数のカメラが撮影した映像を取得して合成する映像合成装置であって、
複数のカメラが撮影した映像を入力可能な映像入力部と、
複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定する空間生成部と、
前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する画像変換部と、
前記映像合成装置が搭載される車両に関する車両情報を取得する車両情報取得部と、
を有し、
前記空間生成部は、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得部で取得した車両情報に応じて変更し、
前記画像変換部は、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記空間生成部で変更した前記仮想的な視点からの視線方向の設定に応じて変更する
ことを特徴とする映像合成装置。
複数のカメラが撮影した映像を入力可能な映像入力部と、
複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定する空間生成部と、
前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する画像変換部と、
前記映像合成装置が搭載される車両に関する車両情報を取得する車両情報取得部と、
を有し、
前記空間生成部は、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得部で取得した車両情報に応じて変更し、
前記画像変換部は、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記空間生成部で変更した前記仮想的な視点からの視線方向の設定に応じて変更する
ことを特徴とする映像合成装置。
【請求項20】
複数のカメラが撮影した映像を取得して合成する映像合成方法であって、
前記複数のカメラが搭載される車両に関する車両情報を取得する車両情報取得ステップと、
複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成する空間生成ステップと、
当該３次元空間における仮想的な視点を設定する視点設定ステップと、
前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する合成画像生成ステップと、
を有し、
前記視点設定ステップでは、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得ステップで取得した車両情報に応じて変更し、
前記合成画像生成ステップでは、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記視点設定ステップで変更した前記仮想的な視点からの視線方向の設定に応じて変更する
ことを特徴とする映像合成方法。
前記複数のカメラが搭載される車両に関する車両情報を取得する車両情報取得ステップと、
複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成する空間生成ステップと、
当該３次元空間における仮想的な視点を設定する視点設定ステップと、
前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する合成画像生成ステップと、
を有し、
前記視点設定ステップでは、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得ステップで取得した車両情報に応じて変更し、
前記合成画像生成ステップでは、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記視点設定ステップで変更した前記仮想的な視点からの視線方向の設定に応じて変更する
ことを特徴とする映像合成方法。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野は、映像表示システム、映像合成装置及び映像合成方法に係り、俯瞰画像を作成する映像表示システム、映像合成装置及び映像合成方法に関する。
【背景技術】
【0002】
車両の前方、後方、左右両側にそれぞれ設置された複数のカメラで車両の周囲を撮影し、これらの撮影画像に視点変換を施し、さらに繋ぎ合せることで、車両周囲の俯瞰画像を作成し、表示するシステムを考える。ＣＧ(コンピュータグラフィックス)の分野では、仮想の空間上にオブジェクトを配置して、そこにテクスチャをマッピングして仮想空間を作成し、その空間内において仮想的な視点から見る映像を作成して表示する手法がある。
【0003】
当該手法に関連する技術として、例えば特許文献１には、その要約に記載のような「少なくとも１つのカメラにより車両の周囲が撮影された画像である撮影画像を取得する画像取得部と、車両の状態を取得する状態取得部と、状態取得部により取得された状態に基づいて、立体と該立体又は撮影画像の変形方法とを設定する設定部と、画像取得部により取得された撮影画像と設定部により設定された立体との対応関係を取得し、設定部により設定された変形方法に基づいて立体又は撮影画像の変形を行い、対応関係に基づいて撮影画像を立体上に写して像を生成して像データとする生成部と、生成部により生成された像データを、設定された視点から見た画像に変換して出力画像とする視点変換部とを備える」技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９−２３２３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１には、車両の状態に応じて投影空間を変形することは開示されているものの、表示用視点は何らかの手段により予め設定されたものであり、表示用視点の設定自体を状況に応じて動的に変更することは想定しておらず、ユーザにとっての使い勝手が十分ではないという課題があった。
【0006】
また、特許文献１には、複数のカメラによって撮影された画像が重なってマッピングされる領域について画像を変形して形状をあわせることは開示されているものの、単に形状を合わせただけでは画像の不自然さが十分に解消されないという課題があった。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の一実施形態は、被写体を撮影するための複数のカメラと、当該の複数のカメラが撮影した映像を合成する映像合成装置と、当該の映像合成装置が合成して生成した画像を表示するモニタとを有する映像表示システムであって、前記映像合成装置は、前記映像表示システムを搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に前記映像合成装置が生成する合成映像の視点を定め当該の視点に応じた空間を生成する空間生成部と、当該の空間生成部が生成した空間に応じて前記複数のカメラが撮像した映像を合成した合成画像を生成する画像変換部と、当該の画像変換部が生成した前記合成画像を２次元で表示するようエンコードして前記モニタに供給するエンコード部と、前記映像合成装置の動作を制御する制御部を有することを特徴としている。
【0008】
また、本発明の一実施形態は、被写体を撮影するための複数のカメラから映像が供給され、当該の映像を合成して出力する映像合成装置であって、前記映像合成装置を搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に生成する合成映像の視点を定め当該の視点に応じた空間を生成する空間生成部と、当該の空間生成部が生成した空間に応じて供給された前記映像を合成した合成画像を生成する画像変換部と、当該の画像変換部が生成した前記合成画像を２次元で表示するようエンコードして出力するエンコード部と、前記映像合成装置の動作を制御する制御部を有することを特徴としている。
【0009】
また、本発明の一実施形態は、被写体を撮影するための複数のカメラと、当該の複数のカメラが撮影した映像を合成する映像合成装置と、当該の映像合成装置が合成して生成した画像を表示するモニタとを有する映像表示システムにおける映像合成方法であって、前記映像表示システムを搭載した車両に係る車両情報を供給され当該の車両情報に基づいて３次元空間上に前記映像合成装置が生成する合成映像の視点を定め、当該の視点に応じた空間を生成し、当該の空間に応じて前記複数のカメラが撮像した映像を合成した合成画像を生成し、当該の合成画像を２次元で表示するようエンコードし、エンコードされた合成画像を表示することを特徴としている。
【0010】
また、本発明の一実施形態は、複数のカメラが撮影した映像を合成してモニタに表示する映像表示システムであって、複数のカメラと、前記複数のカメラが撮影した映像を合成する映像合成装置と、前記映像合成装置が合成して生成した画像を表示するモニタとを備え、前記映像合成装置は、複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定する空間生成部と、前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する画像変換部と、当該の画像変換部が生成した前記合成画像を、前記モニタに表示するために２次元画像データとしてエンコードするエンコード部と、前記映像合成装置が搭載される車両に関する車両情報を取得する車両情報取得部と、を有し、前記空間生成部は、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得部で取得した車両情報に応じて変更し、前記画像変換部は、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記空間生成部で変更した前記仮想的な視点からの視線方向の設定に応じて変更することを特徴としている。
【0011】
また、本発明の一実施形態は、複数のカメラが撮影した映像を取得して合成する映像合成装置であって、複数のカメラが撮影した映像を入力可能な映像入力部と、複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定する空間生成部と、前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成する画像変換部と、前記映像合成装置が搭載される車両に関する車両情報を取得する車両情報取得部と、を有し、前記空間生成部は、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、前記車両情報取得部で取得した車両情報に応じて変更し、前記画像変換部は、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも前記空間生成部で変更した前記仮想的な視点からの視線方向の設定に応じて変更することを特徴としている。
【0012】
また、本発明の一実施形態は、複数のカメラが撮影した映像を取得して合成する映像合成方法であって、前記複数のカメラが搭載される車両に関する車両情報を取得し、複数のカメラが撮影した映像を投影するための仮想的な３次元空間を生成し、当該３次元空間における仮想的な視点を設定し、前記仮想的な３次元空間に前記複数のカメラが撮影した映像を投影し、当該投影映像と前記仮想的な視点に応じて合成画像を生成し、前記視点設定の際には、前記仮想的な視点の位置及び前記仮想的な視点からの視線方向の設定を、取得した車両情報に応じて変更し、前記合成画像生成の際には、前記投影映像において、前記複数のカメラが撮影した映像同士が重なって前記仮想的な３次元空間に投影される領域における重なった複数の映像の合成率を、少なくとも、変更した前記仮想的な視点からの視線方向の設定に応じて変更することを特徴としている。
【発明の効果】
【0013】
上記手段によれば、ユーザにとって使い勝手が良く、より自然な俯瞰画像を作成できる映像表示システム、映像合成装置及び映像合成方法を提供することができるという効果がある。
【図面の簡単な説明】
【0014】
【図1】映像合成装置と映像表示システムを示すブロック図である。
【図2】撮影カメラ映像の画素を仮想カメラから見た画素に座標変換する処理を説明する図である。
【図3A】車両周辺に設定される空間の第１の見取り図である。
【図4A】車両周辺に設定される空間の第２の見取り図である。
【図5】車両情報に応じて投影面の形状を変形し視点を変化させて撮影画像を投影するための動作フロー図である。
【図6】走行状況による仮想カメラの位置と角度を示す見取り図である。
【図7】速度に応じた仮想カメラの位置と角度の設定テーブルの図である。
【図8】画像を投影するオブジェクトの配置を示す図である。
【図10】車両の進行方向とハンドル角に応じて仮想カメラの位置を変更する場合を説明する図である。
【図11】平面と球面に複数のカメラ画像を座標変換して投射する領域を示す図である。
【図13A】実際のカメラと仮想カメラの配置例を示す見取り図である。
【図13F】仰角方向を基準とするブレンド率の変化の例の説明図である。
【図14】センサを搭載した場合の映像合成装置と映像表示システムを示すブロック図である。
【図15】例えば距離センサで自車周辺の立体物までの距離を検出して形成した空間を示す図である。
【図16A】車両周辺に設定される空間の第３の見取り図である。
【図16D】入力画像と出力画像との座標対応を表すテーブルデータの一例を示す図である。
【図17A】カメラが撮像した画像を示す図である。
【図17C】カメラが撮像した画像を示す図である。
【図18C】視点変換する前後の画像の座標対応点を示すテーブルデータである。
【発明を実施するための形態】
【0015】
以下、実施例について図面を参照しながら説明する。図１は、本実施例における映像合成装置と映像表示システムを示すブロック図であって、映像合成装置１００と、これに対して、被写体を撮像するための複数（ｎ個）のカメラ１０１と画像を表示するためのモニタ１１１が接続された映像システムを示す。
【0016】
映像合成装置１００では、ＣＰＵ(Central Control Unit)１０８が全体の動作を制御する。この動作制御に応じて、例えば、車両情報１０４が有する情報を利用して、自車周辺の仮想的な立体空間を空間生成部１０５が形成する。画像変換部１０６は、カメラ１０１から、図示を省略する入力部を介して映像合成装置１００に入力される画像をデコード部１０２にてデコードした画像を、空間生成部１０５が形成した立体空間上にマッピングする。また、画像変換部１０６は、カメラ情報部１０７が設定した仮想カメラ位置（仮想視点の位置）と角度（仮想視点からの仮想的な視線方向）から見た場合の画像を作成して、エンコード部１１０を介してモニタ１１１に出力する。
【0017】
この際に、バス１０３を介してメモリ部１０９と接続された画像変換部１０６は、出力される映像データに対して、後記するような変形処理などを施す。この変形処理は映像を３次元的に処理するが、エンコード部１１０は３次元的に処理された映像を、モニタ１１１で２次元的に表示できるようエンコードして、モニタ１１１に出力する。 なお、以下ではＣＰＵ１０８を制御部とも呼ぶ。
【0018】
車両情報１０４は、ＣＡＮ(Controller Area Network)やFlexRayなどを介して得られる車体制御情報などであり、車両の進行方向、ハンドルの角度、或いは車速などの情報を有する。空間生成部１０５は、車両情報や知識ベースの情報に基づいて自車周辺の立体空間を推測して、空間情報を生成する。さらに空間生成部１０５は、走行中の速度情報や進行方向情報を参照して道路と推定される平面の範囲（例えば自車周辺の半径Ｄｍの円周内を範囲とする）と、当該の平面以外の空間をどのような形で形成するのかを決定し、平面や球などの組合せで３次元空間上にオブジェクトを配置する。このオブジェクトは自車周辺の空間の形を表している。
【0019】
画像変換部１０６は、空間生成部１０５が配置した３次元オブジェクト面に、車に搭載したカメラ１０１が撮影した画像を貼り付け、これを仮想的な視点から見た場合の合成画像に変換する。これにより、映像合成装置１００は、２次元のカメラ画像から擬似的な３次元空間を作り出すことができる。実際には、オブジェクト面に貼り付けられた画像は、視点が異なれば異なる画像としてユーザに見えるようにするため、３次元空間上に仮想的に配置した仮想カメラ位置から見た画像を計算して貼り付けることになる。
【0020】
カメラ情報部１０７は、車に搭載したそれぞれのカメラ１０１の３次元空間座標系の位置情報(座標情報)、角度情報、レンズの歪係数、焦点距離、或いはセンサの有効画素サイズ等の情報を有する。画像変換部１０６が、画像の歪補正、幾何変換などの画像変換を行う際に当該の情報を用いてもよい。カメラ情報部１０７は、自車のある位置を基準(原点)として、座標情報(Ｘi、Ｙi、Ｚi）と各軸に対する角度情報(αi、βi、γi)を有している(０≦i≦ｎ)。
【0021】
歪係数に関しては、カメラ画像中心からの距離に応じた歪の度合いを示す係数や、レンズの入射角と被写体の長さの関係を示す情報などを有している。後記するように、本実施例においてはカメラ１０１に魚眼レンズを用いることがある。魚眼レンズの周辺部は中心部と比較して歪が大きいため、これを補正する際に前記歪係数が必要となる。さらに、カメラ情報部１０７は、空間生成部１０５が形成した３次元空間において、仮想的に設定した位置のカメラから見た画像を生成するために、仮想カメラの座標(Ｘv、Ｙv、Ｚv）の情報と各軸に対する角度(αv、βv、γv)の情報も有する。
【0022】
画像変換部１０６は、デコード部１０２でデコードされたカメラ１０１のカメラ映像に対して、画像処理を行う。カメラ情報部１０７から供給されたレンズ歪係数の情報に基づきレンズ歪の画像補正処理を行い、さらに空間生成部１０５が生成したオブジェクト面に、カメラ撮影画像を行列変換で座標変換して変形した画像を張り付ける処理、以下で述べるようなカメラ画像の繋ぎ目近辺の画像のブレンド合成処理などを行う。本実施例は、車両の周囲の擬似３次元画像の生成に関して記載しているが、車両に限らず複数の監視カメラの撮影画像に関して、擬似３次元画像を作成する場合にも適用できる。
【0023】
図２は、本実施例における撮影カメラ映像の画素を仮想カメラから見た画素に座標変換する処理を説明する図である。図２では、実際の車載カメラ１０１で撮影された画像２０１の画素を、カメラ１０１に対するカメラ座標系Ｘp、Ｙp、Ｚpにおける点Ｐ(xp,yp,zp)と表している。なお、ここではカメラ座標系に関して、例えばカメラに対する奥行方向をＺ、撮像した画像の水平方向をＸ、垂直方向をＹと表している。この点Ｐは、空間内で共通に用いられるWorld座標系Ｘw、Ｙw、Ｚwにおける点Ｗ(xw,yw,zw)に相当する。このWorld座標系の点Ｗを、ある仮想の位置に配置した仮想カメラ２０２から撮影した場合の画像２０３の画素は、仮想カメラ２０２に対するカメラ座標系Ｘv、Ｙv、Ｚvの点Ｖ(xv,yv,zv)に相当する。つまり、ある仮想の位置から見た画像を生成するために、次のような座標変換を行う。
【0024】
実際のカメラ１０１に対するカメラ座標系の点ＰとWorld座標の点Ｗの関係は、4×4の透視投影変換行列Ｍpを用い、（式１）により示される。
【0025】
【数1】
【0026】
また、仮想カメラ２０２に対するカメラ座標系の点ＶとWorld座標系の点Ｗの関係は、透視投影変換行列Ｍvを用い、（式２）により示される。
【0027】
【数2】
【0028】
但し、Ｍp、Ｍvは（式３）に示すように、３×３の回転行列Ｒと、３×１の平行移動行列Ｔを含んでいる。
【0029】
【数3】
【0030】
（式１）と（式２）を用いると、実カメラ座標系の点Ｐと仮想カメラ座標の点Ｖの関係が（式４）で求められ、生成したい仮想カメラの画素値を、実際のカメラで撮影した画素値から計算して求めることができる。
【0031】
【数4】
【0032】
World座標系上のカメラの設置位置と設置角度と、カメラの内部パラメータである焦点距離やセンサの有効画素サイズ等の情報を用いて、ＭvとＭpの逆行列を掛け合わせた４×４の行列を算出する。これらの式を用いて画像変換部１０６は、実際のカメラ１０１の画像を、ある位置に配置した仮想カメラから見た画像に変換する。
【0033】
以下で述べる実施例においては、複数の実際のカメラを用いる場合がある。しかし、図２で示すような、実際のカメラ１０１が１個だけである場合も、本発明の範疇にある。カメラ１０１に例えば魚眼レンズを使用すると、目的によっては１個のカメラで充分な画角をカバーできる。例えば、図２乃至図７、図１６Ａ乃至図１８Ｃに係る実施例は、カメラが１個である場合にも適用される。
【0034】
図３Ａは、本実施例における車両周辺に設定される空間の第１の見取り図であり、車両前方中央付近(Xc,Yc,Zc)の位置にカメラ３０１を各軸に対する角度(α,β,γ)に設置されている車両３００が道路３０３の上にある場合を示す。車両３００の前方に立体物３０２があり、その木よりも遠くに仮想的な球の曲面３０４が配置されている。
【0035】
図３Ｂは、図３Ａの車両周辺に設定される空間を仮想カメラ３０５から見た図である。なお、以下では実際のカメラに対しては３０１、仮想カメラに対しては３０５の符号を付すが、前者は図１及び図２の１０１、後者は図２の２０２と同様であって良い。
カメラ３０１が撮影した映像は、図３Ｂが示すように前記した空間生成部１０５が生成した空間上に投影される。カメラ３０１と立体物３０２とを結ぶ直線上に、いびつに変形した立体物３０２が投影されてしまう。道路（地面）３０３などの平らなものは、車両周囲の投影面を広げることで、遠近感が生成され普段見慣れた距離感の空間を形成できるが、立体物３０２がある場合には、それが投影面の中の平面３０３の部分にテクスチャとして貼り付けられ、立体感が失われてしまう。
【0036】
図４Ａは、本実施例における車両周辺に設定される空間の第２の見取り図であり、図３Ａと同様に設定した空間で、車両３００の前方に仮想的な球の曲面３０４が配置されているが、図３Ａよりも曲面３０４は立体物３０２の近くに配置されている。車両３００と立体物３０２の距離は図３Ａと同様とする。
【0037】
図４Ｂは、図４Ａの車両周辺に設定される空間を仮想カメラ３０５から見た図である。この場合には、立体物３０２のなかで投影面の中の平面３０３の部分に貼り付けられる面積は少なく、図３Ａで示した場合よりも立体物３０２が自然に見える。図３Ａ乃至図４Ｂで示したように、設定する投影面の中の平面３０３の広さに応じて、車両周囲の距離感や、立体物の見え方が大きく変わってくる。つまり、自車周辺に存在するものの距離感を正確に見たい場合には、設定する領域を広くするなどの工夫が可能である。このように、周囲のオブジェクト空間を再現し、そのオブジェクト表面に撮影画像をテクスチャとしてマッピングすることにより、２次元の画像を組合せて、周囲全体の擬似的な３次元空間を形成することができる。
【0038】
本例では、計算量削減のために、単純な平面と球面で空間を表現しているが、画像の特徴量を利用して、特徴量による統計的なクラスタリング処理を行うことで、地面（道路）と建物、壁、ガードレール、空など空間的な位置関係を考慮して空間上にオブジェクトを配置して、そこに映像を合成しても良く、これにより、周囲の正確な３次元空間が形成可能となる。
【0039】
図５は、本実施例における車両情報に応じて投影面の形状を変形し視点を変化させて撮影画像を投影するための動作フロー図である。以下、Ｓを付したステップ番号に応じて動作フローを説明する。Ｓ５００で動作フローが開始される。Ｓ５０１では、空間生成部１０５はＣＰＵ１０８の指示に応じて、ＣＡＮやFlexRayのネットワークなどを介して、車両の進行方向、ハンドルの角度、或いは車速などの車両情報１０４を取得する。ここで取得する情報の入手経路は限定されることなく、カーナビやスマートフォンなどの情報端末が独自に取得したＧＰＳ情報を元にした車速情報を利用し、或いは車内に設置したカメラからハンドル角度を算出するなど様々な入手方法が考えられる。図５の例は、車速を利用した動作シーケンス例であり、車速に応じて、設定する車両周辺の空間情報と仮想カメラの位置を変化させる例を記載している。
【0040】
図６は、本実施例における走行状況による仮想カメラの位置と角度を示す見取り図である。仮想カメラ３０５は、車両３００の進行方向に対して、車両３００を例えば角度Ａ（前側）から角度Ｇ（後側）の間のいずれかの角度（方向）と、例えば＋α２から−α２の間のいずれかの位置（距離）に、例えば車速に応じて設定される。仮想カメラ３０５の位置と角度は、図６に示す例に限定されないことはもちろんである。
【0041】
図５に戻って説明を続ける。Ｓ５０２において、空間生成部１０５はプリセットする空間として、道路を想定した平面オブジェクトと、あるWorld座標の点を中心とした自車を包むある半径の球のオブジェクトを作成する。画像変換部１０６は、その平面と球のオブジェクトの組合せを、空間内のある位置と角度から見るように設定された仮想カメラの位置を読み込む。
【0042】
Ｓ５０３において、ＣＰＵ１０８は現在の車速Ｖを所定の車速Ｖ０と比較する。現在の車速ＶがＶ0よりも小さい場合には(Ｓ５０３のＮｏ)、Ｓ５０４において、画像変換部１０６は空間生成部１０５がＳ５０２で作成したプリセット空間を利用して、そこに読み込んだ仮想カメラ視点での画像を投影する。車速がＶ0よりも大きい場合には(Ｓ５０３のＹｅｓ)、ある速度の関数であるｆ(Ｖ0)で算出される半径Ｒを求め、Ｓ５０５において、画像変換部１０６は空間生成部１０５がＳ５０２で作成したプリセットの平面と、球の半径を速度Ｖ0に関連したＲに変更したオブジェクトを作成する。
【0043】
Ｓ５０６では、画像変換部１０６は車速によって決まる仮想カメラの位置と角度を算出する。即ち、図６における仮想カメラの位置が、例えば＋α２から−α２の間のいずれかに設定され、角度が例えばＡからＧの間のいずれかに設定される。Ｓ５０７では、画像変換部１０６は空間生成部１０５がＳ５０５で作成した平面オブジェクトと球オブジェクトに、画像変換部１０６がＳ５０６で算出した仮想カメラ位置から見た２次元画像に変換し、モニタ１１１に表示することで擬似的な３次元空間を２次元表示で表現する。
【0044】
Ｓ５０４又はＳ５０７における処理を終了した後は、例えば、所定の時間が経過した後に再度Ｓ５０１からのフローを行うと良い。或いは、車速、走行方向が変化するといった状況の変化をトリガにして再度Ｓ５０１からのフローを行っても良い。後者の場合、所定の時間ごとに状況の変化の有無を検出すると良い。
【0045】
速度の関数ｆ(Ｖ0)は、頻繁に走行する一般の道路を参考に道路の直進性や幅などから、速度と平面の関係を最適な関数で設定する。例えば、車速が速い場合には、近くに立体物は少なく、近くの立体物の距離感や対象物を視認する必要性は低くなる。このため、車両周辺に平面を広く設定する必要がなく、図４Ａで示すように、球面を車両に近づけてカメラ映像を投影する。これにより、カメラで撮影した映像に近い映像が作成した空間にマッピングされ、近くよりも遠くを視認し易くなる。球面の半径は、例えばｆ(Ｖ)＝α／Ｖのような式で表され、車速Ｖの上昇とともに減少する。また低速で走行している場合には、一般的な道路情報から作成したＳ５０２のプリセットの平面のサイズとなり、平坦と推定される道路は、作成した平面に張りつけられ、自車の周辺に遠近感のある自然な距離感の映像が作成される。
【0046】
図６に関する説明を再度行う。図６においては車両３００を側面方向から描いており、ある円弧上における位置と角度を変えながら、仮想カメラ３０５を移動させている。車両３００が停止状態の場合は、円弧上の点Ｄに仮想カメラを配置し、前方に走り出すと速度に応じてＤ→Ｅ→Ｆ→Ｇと円弧上に仮想カメラを移動させる。これにより、停止時は自車を真上から見て、自車周辺に歩行者や障害物がないかを確認でき、前方に走り始めると、速度が速くなる程前方が広い範囲で見える画像となるように、後方斜め後ろの位置からの仮想カメラ３０５の位置と角度を設定できる。自車が後方に走り始めると、速度に応じてＤ→Ｃ→Ｂ→Ａと円弧上に仮想カメラを移動させる。これにより、速度が速くなる程後方の画像が見えるようになる。
【0047】
また、ある方向に仮想カメラ３０５を固定した場合に、車速に応じて仮想カメラの高さを変化させることも効果がある。自車が後方にバックしている際に、角度Ｂに設定された仮想カメラ３０５の法線方向の高さを速度に応じて変化させる。ある速度ではα０の高さとし、速度が速くなるにつれ、＋α１、＋α２と変化させ、より高い位置から広い範囲の画像を見られるように設定する。ある速度以下で低速走行している場合には、速度が遅くなるにつれて、−α１、−α２と変化させ、自車周辺の詳細の画像を表示させる。後に図７に示すように、速度に応じた仮想カメラの位置と角度の設定テーブルを持っていても良く、テーブル化しておくことで、計算量を減らすことができるメリットがある。
【0048】
本例では自車を側面方向から見た例で記載しているが、３次元空間を表す３軸で同様に仮想カメラの位置と角度を変化しても良い。また、自車の速度による仮想カメラ位置の変化を示しているが、カメラで撮像した画像を認識して、他車の速度を検出して他車の速度に応じて仮想カメラの位置を変化させても良い。例えば、隣を走行中の他車が自車よりも高速で走行中であれば、他車の速度に合わせて円弧上のカメラの位置を変化させる。
【0049】
図７は、本実施例における速度に応じた仮想カメラの位置と角度の設定テーブルの図を示す。例えば、進行方向が前方であり速度Ｓn(km/h)以上で走行中であれば、前方の画像を見られるように、図６のＦの位置で、さらに広範囲な領域を見られるように自車から離れた位置＋α２に仮想カメラを設定する。運転者の好みや習熟度に合わせてこのような設定リストを作成しても良い。これらにより、走行状況に応じて、最適な仮想カメラ位置からの画像を提供することができる。本実施例においては、実際のカメラが１個、又は複数個のいずれであっても、状況に応じて仮想カメラの視点を変更できることを、一つの特徴としている。
【0050】
図８は、本実施例における画像を投影するオブジェクトの配置を示す図である。先の図３Ａ乃至図４Ｂは、例えば道路を表す平面のオブジェクトと、World座標のある点を中心とした自車を囲む大きな１つの球オブジェクトの組み合わせで、周囲の３次元空間を形成した例を示した。図８は、自車の前後左右に４つのカメラ３０１ａ乃至３０１ｄを設置した際に、例えば道路を表す平面のオブジェクト８０２と、カメラ毎に球面のオブジェクトを有する３次元空間８０１ａ乃至８０１ｄを形成する例を示す。例えば、カメラ３０１ａが自車の前方を撮影するように配置され、カメラ３０１ｂが自車の後方を撮影するように配置され、カメラ３０１ｃが自車の左方を撮影するように配置され、カメラ３０１ｄが自車の右方を撮影するように配置されているとする。車に搭載される複数のカメラ３０１ａ乃至３０１ｄは別々の位置に配置されるため、道路までの高さ或いは角度が異なり、画像の縮尺率もカメラ毎に異なる。それらをある１点を中心とした１つの球面オブジェクトに投影すると、各カメラ位置と角度に応じて画像を調整した上で投影する必要があり、計算が複雑になってしまう。これに対して図８においては、カメラ毎に最適な球面オブジェクト８０１ａ乃至８０１ｄを設定し、各カメラ画像を各カメラ３０１ａ乃至３０１ｄに対応した球面オブジェクト８０１ａ乃至８０１ｄに投影することで、歪の少ない画像表現を可能としている。
【0051】
図９は、本実施例における図８の空間を真上から見た図である。各カメラ３０１ａ乃至３０１ｄに対して設定された球面オブジェクト８０１ａ乃至８０１ｄは、道路を想定した平面と接する部分で切り取られ、平面の形状は上下左右に少し膨らんだ形となる(実線)。膨らんだ形を１つの球面オブジェクト８０３(破線)で表現した場合に発生する歪を矢印で示している。例えば矢印の間隔が球面オブジェクト８０１ｂと球面オブジェクト８０３とで異なる分だけ歪を発生する。即ち、同じ大きさの物体であっても、カメラ３０１ａ（３０１ｂ）と３０１ｃ（３０１ｄ）のいずれで撮像されたかに応じて、異なる大きさで球面オブジェクト８０３に投影される。
【0052】
これは車体の大きさにも関係し、１つの球面オブジェクト８０３で３次元空間を形成した場合には、前後方向により大きい歪が生じることを示している。このように、車体の形状によっては、１つの球面オブジェクト８０３で３次元空間を表現することが難しい場合がある。このため、各カメラ３０１ａ乃至３０１ｄに対して最適な球面オブジェクトを有するような３次元空間形成が有効な場合がある。この場合、実際のカメラ及び仮想カメラの各々から平面に垂線を下ろした際の位置の違いを考慮しながら、図中の矢印の方向が球面オブジェクト８０３の球面上の点に至るように補正する。これにより、１つの球面オブジェクト８０３で画像の歪の少ない３次元空間を表現できる。
【0053】
図１０は、本実施例において車両の進行方向とハンドル角に応じて仮想カメラの位置を変更する場合を説明する図である。１００１は平面と球で形成された３次元空間である。自車３００のＣＰＵ１０８が前進方向で右にハンドルを切っているという情報１００２を、車両情報１０４より取得した際には、自車の右前の周辺がより良く見えるように、前方の仮想カメラが自車３００の前方右側の道路を向くように、仮想カメラ３０５ａを配置する。また、自車が後進方向で右にハンドルを切っているという情報１００３を、車両情報１０４より取得した際には、自車の左後ろの周辺がより見えるように、仮想カメラが自車３００の後方左側の道路を向くように、仮想カメラ３０５ｄを配置する。ここで仮想カメラ３０５ａと３０５ｄに対して別の符号を付したが、仮想カメラ、或いは実際のカメラが同時に２個存在する必要はなく、１個の位置と角度を変化させながら使用しても良い。
【0054】
これにより、例えば、自車３００がこれらから進む右斜め前方向に歩行者１００４が居た場合には、仮想カメラ３０５ａで見た画像の方が、歩行者、或いは危険な事象の発見をし易くなるメリットがある。このように、車速のみでなく、進行方向とハンドル角を利用して仮想カメラの位置や角度を変更することも可能である。このために、図７で示したリストにハンドル角の情報を付け加えて保持しても良い。
【0055】
図１１は、本実施例において平面と球面に複数のカメラ画像を座標変換して投射する領域を示す図である。３次元空間としては、平面オブジェクト８０２と球面オブジェクト８０１で構成されており、仮想カメラ３０５から見た映像が投影される。図１１では４個の実際のカメラ３０１ａ乃至３０１ｄが存在するが、それぞれのカメラの画像は同様に投影されるので、カメラ３０１ａの画像の投影に関して説明する。カメラ３０１ａの画像は、平面８０２と球面８０１内部の太線で囲まれた８０１ｅの領域に投影される。同様にカメラ３０１ｂの画像は、平面８０２と球面８０１内部の８０１ｆの領域に投影され、カメラ３０１ｃの画像は平面８０２と球面８０１内部の８０１ｇの領域に投影され、カメラ３０１ｄの画像は平面８０２と球面８０１内部の８０１ｈの領域に投影される。８０１ｅと８０１ｇとが重なる領域８０１ｅｇ(斜め斜線領域)と、８０１ｅと８０１ｈとが領域の重なる部分８０１ｅｈ(斜め斜線領域)は、複数のカメラが同じ場所を撮影している領域となる。つまり、この領域が隣り合う２つのカメラ映像を合成（ブレンド）する領域となる。
【0056】
８０１ｅｇの領域を例にすると、この合成する領域に関し、平面８０２と球面８０１が交わる面にできる円の中心点１１０１を中心に、図中のＡからＢに向けて図中の角度(方位角)θに応じてブレンド率を変更することを考える。Ａに近い部分は、カメラ３０１ｃに近い部分であるので、カメラ３０１ｃの画像のブレンド率を高め、Ｂに近い部分は、カメラ３０１ａに近い部分であるので、カメラ３０１ａの画像のブレンド率を高めるように、ブレンド率を変化させる。
【0057】
つまり、８０１ｅｇの領域においては、Ａと中心点１１０１とを結ぶ球面上の線における画素は、カメラ３０１ｃで撮影された画像を１００％利用し、Ｂと中心点１１０１を結ぶ球面上の線における画素は、カメラ３０１ａで撮影された画像を１００％利用し、ＡとＢの間の中点と中心点１１０１を結ぶ球面上の線における画素は、カメラ３０１ａとカメラ３０１ｃの画素を５０％ずつ利用して合成する。領域８０１ｅｈに関しても、カメラ３０１ａとカメラ３０１ｄの画像を同様に合成する。図中の領域８０１ｆｇについてはカメラ３０１ｂと３０１ｃの、領域８０１ｆｈについてはカメラ３０１ｂと３０１ｄの画像を同様に合成する。これにより、４つのカメラ３０１ａ乃至３０１ｄの画像を滑らかに繋ぐことができ、自車の全周囲を表現できる。
【0058】
本例では、実際のカメラの位置から撮影される範囲が決まるため、合成する領域も一意に決まるので、合成する領域の境界領域は一定である。一方で、合成する領域の境界領域を動的に変化させて合成させても良い。具体的には、画像変換部１０６が画像認識機能を有し、各カメラ画像の画像特徴量を算出する。隣り合うカメラ画像の重なり合う部分で、双方とも画像特徴量が少ない場所を合成する領域の境界領域とする。画像特徴量が多い場所を境界領域にするとエッジ等が当該の場所に発生して、合成した際の境界が目立つので、これを防止することができる。画像上であまり特徴のない空や均一に塗られた壁などが映っている領域を境界にすることで、当該の境界を目立たせなくすることが可能である。
【0059】
この考え方を利用すると、前方の画像を作成する場合は、車サイド両端の延長線上に合成する際の境界を設けることが効果的な場合がある。つまり、自車は前方に走行中であることから、車前方には道路か空が広がっている可能性があるため、その画像には画像特徴量が少ない可能性がある。その場所を合成する際の境界にすることで、境界のエッジが目立たないように合成することができる。ここで、画像特徴量としては、Sobelやラプラシアンなどの輪郭抽出などの一般的なエッジ抽出手法やＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ(Histograms of Oriented Gradients)などによる画像の特徴量抽出手法などを利用する。
【0060】
構成要素を簡素化するためには、実際のカメラの数は少ない方が望ましい。このためにカメラのレンズは魚眼レンズとし、一台のカメラがカバーする画角を広くする方法がある。しかし、魚眼レンズを使用しても車両周辺の全画角をカバーするには、例えば図１１で示すように複数台のカメラが必要となる。図１１においては、複数台のカメラがカバーする画角に重なり合う部分がある時に、複数台のカメラの画像を利用して、当該の部分の画像を歪が低減されるように合成して生成することに、一つの特徴がある。
【0061】
図１２Ａと図１２Ｂは、図１１のブレンド領域のブレンド率の第１及び第２の例を示す図である。図１２Ａは、線形でブレンド率を変化させる例を示す。図１１の８０１ｅｇの領域に関して、θ＝θｍａｘ、即ち図１１のＡでは、カメラ３０１ｃは点線で示すようにブレンド率１．０、カメラ３０１ａは実線で示すようにブレンド率を０．０とし、θに応じて線形に変化し、中心角度θｍａｘ／２を境界に、大小関係が逆転していくようにブレンド率を変化させる。
図１２Ｂは、ガウシアンカーブに近い形でブレンド率を変化させる例を示す。ガウシアンカーブに近い形の方が、より近いカメラのブレンド率を高くできる効果がある。
【0062】
本例では、θmax/２の地点で折り返すようなブレンド率のグラフになっているが、折り返す地点を左右にずらしても良い。カメラの設置位置によっては、重なる領域でどちらかのカメラの歪みが少なくきれいに見える場合があるので、その場合には、歪みが少ない方のカメラのブレンド率が全体として高くなるように、折り返し点をずらすとより高画質の画像が実現できる。
【0063】
図１３Ａは、本実施例における実際のカメラと仮想カメラの配置例を示す見取り図であり、仮想カメラ３０５の光軸方向が図１１のブレンド領域８０１ｅｈの方向を向く場合を示している。図１３Ｂは、図１３Ａの実際のカメラと仮想カメラの法線方向を示す図である。この場合、図１３Ａのブレンド領域８０１ｅｈに関しては、カメラ３０１ａの光軸方向よりもカメラ３０１ｄの光軸方向が仮想カメラ３０５の光軸方向に近いので、カメラ３０１ｄの画像を優先的に使った方が画像は自然に見えることとなる。つまり、ブレンド領域８０１ｅｈに表示する画像を合成する際に、先の図１２Ａ及び図１２Ｂで示したようにブレンド率をブレンド領域の中央で５０％とするよりも、カメラ３０１ｄの画像をより優先的に使うように合成する方がより自然な画像を作ることができる。
【0064】
図１３Ｃは、図１３Ａにおける仮想カメラの角度に応じたブレンド領域のブレンド率を示す図である。カメラ３０１ａの画像とカメラ３０１ｄの画像のブレンド率が５０％になる位置を、仮想カメラの光軸方向と各カメラの光軸方向とに基づいて決定する。例えば、図１３Ｃの関数Ｆ(θ１,θ２)は、図１３Ｂに示す、仮想カメラの光軸方向に対応する方位角とカメラ３０１ａの光軸方向に対応する方位角θ1と、仮想カメラの光軸方向に対応する方位角とカメラ３０１ｄの光軸方向に対応する方位角θ2とを変数とする関数である。
【0065】
つまり、本実施例では、実際に搭載されているカメラの光軸方向の角度と、仮想カメラの光軸方向の角度に応じて、ブレンドする領域のブレンド方法を変更する。これにより、ブレンド領域を実際のカメラで、仮想カメラから見てより自然に見える画像を多く利用したブレンドが可能になり、ブレンド領域の高画質化が期待できる。これにより、図１３Ａに配置した人物１００４は、カメラ３０１ｄで撮影された画像がより多く使われ、より自然な画像がブレンドされるため、ドライバーによる歩行者発見や危険発見を早めることができる。
【0066】
なお、本実施例における、ブレンド率を変化させる方法は図１３Ｃの例に限られない。例えば、ブレンド率の変化の別の例として、図１３Ｄの例を説明する。図１３Ｄの例は、図１３Ｃと同様にカメラ３０１aとカメラ３０１ｄの映像の重なる領域を対象とし、方位角θを基準とするものである。図１３Ｄの例では、ブレンド率が０．５となる方位角θ_ｍに加えて、方位角θ_lおよびθ_hが設定されている。ここで、方位角θ_lまたはθ_hの位置よりも一方のカメラの光軸に対応する方位角に近い領域では、他方のカメラの映像のブレンド率を０とする。ここで、図１３Ｄの例では、ブレンド率が０．５となる方位角θ_ｍのみならず、一方のカメラの映像のブレンド率が０となる方位角θ_lおよびθ_hを、いずれも図１３Ｂのθ１,θ２の関数とする。これにより、仮想カメラの光軸方向と各カメラの光軸方向とに基づいて、各カメラの映像のブレンドの優先度を変更設定できるうえ、各カメラの映像が合成映像に影響する範囲についてもあわせて変更することが可能となる。例えば、仮想カメラの光軸方向に対応する方位角が、カメラ３０１ｄの光軸方向に対応する方位角よりもカメラ３０１aの光軸方向に対応する方位角に近い場合に、方位角θ_ｍ、方位角θ_lおよびθ_hがいずれも矢印Ａの方向にシフトするような関数を用いればよい。これにより、仮想カメラの光軸方向に近い光軸方向を有するカメラ３０１aの画像が優先的にブレンドされる。逆に、仮想カメラの光軸方向に対応する方位角が、カメラ３０１aの光軸方向に対応する方位角よりもカメラ３０１dの光軸方向に対応する方位角に近い場合には、方位角θ_ｍ、方位角θ_lおよびθ_hがいずれも矢印Ｄの方向にシフトするような関数を用いればよい。
【0067】
また、本実施例のブレンド率の変化の別の例として、図１３Ｅの例を用いてもよい。図１３Ｅの例は、図１３Ｄの例から、方位角θ_lと方位角θ_hの間のブレンド率の変化を直線的ではなく曲線的にしたものである。その他の部分は、仮想カメラの光軸方向に対応する方位角に応じた関数の設定方法も含めて図１３Ｄと同様であるため、詳細な説明は省略する。
【0068】
また、上述の図１３Ａ乃至Ｅの例では、ブレンド率の変更を、平面８０２に平行な２つの直線がなす角である方位角を基準に行っていた。これに替えてまたはこれに加えて、ブレンド率の変更を、平面８０２に垂直な平面に平行な２つの直線がなす角である仰角を基準に行なってもいい。
【0069】
具体的な例を図１３Ｆを用いて説明する。図１３Ｆは、車両１３００を左側面から見た図である。車両１３００には、光軸の方位角が前方方向であるカメラが２台設置されている。それぞれカメラ１３０１、カメラ１３０２である。ここで、カメラ１３０１の光軸の仰角はα１であり、カメラ１３０２の光軸の仰角はα２である。α２はα１よりも大きく、カメラ１３０２はカメラ１３０１よりも水平方向に近い光軸を有している。すなわち、図８、９、１１における前方方向のカメラ３０１aが２台になり、それぞれのカメラの光軸が、異なる仰角で車両に取り付けられていることとなる。
【0070】
図１３Ｆの例では、仮想カメラが、仮想カメラ１３１０の位置にありその光軸の仰角βがβ１であるときと、仮想カメラ１３１１の位置にありその光軸の仰角βがβ２であるときの２例が示されている。仰角β１は、仰角α２よりも仰角α１に近く、仰角β２は、仰角α１よりも仰角α２に近い関係にある。
【0071】
例えば、図７に示すように、車両速度に応じて仮想カメラの光軸の角度をより水平に近づくように変化させる場合に、図１３Ｆの例では、仮想カメラが仮想カメラ１３１０の位置から仮想カメラ１３１１の位置に変化する。この際、仮想カメラの光軸の仰角は、カメラ１３０１の光軸の仰角α１よりもカメラ１３０２の光軸の仰角α２に近づくため、カメラ１３０１の映像とカメラ１３０２の映像が重なる領域のブレンド処理において、カメラ１３０２の映像のブレンド率を優先する方向に変化させればよい。具体的なブレンド率の変化の方法は図１３Ａ乃至Ｅで説明した方位角基準のブレンド率の変化の処理を垂直方向に置き換えれば実現できる。よって、詳細な説明は省略する。
【0072】
なお、図１３Ａ乃至Ｅで説明した方位角基準のブレンド率の変化処理と、図１３Ｆで説明した仰角基準のブレンド率の変化処理を組合せて、仮想カメラの光軸に対応する方位角、仰角の両者が変化した場合のブレンド率を方位角方向及び仰角方向の両者について変化させてもよい。
【0073】
図１４は、本実施例においてセンサを接続した場合の映像合成装置と映像表示システムを示すブロック図である。構成は、図１とほぼ同様であるが、通常車両に搭載される以外の様々なセンサ１４００を搭載した点が異なる。センサ１４００としては、レーダを使って広い範囲の方位とその距離情報を測定できるセンサ、ステレオカメラ、ミリ波や超音波、ソナーなどを使用して自車と周囲の物体との距離を測定し、或いは物体の存在を検出するセンサが考えられる。レーダを使って周囲の３次元空間形状を変形させる例を図１５に示す。
【0074】
図１５は、本実施例において例えば距離センサで自車周辺の立体物までの距離を検出して形成した空間を示す図である。自車３００の周辺の立体物をレーダで検出し、当該のレーダを搭載したセンサ１５００から立体物Ｎ（例えば１５０１ａ乃至１５０１ｄ）までの距離をＬ（例えばＬ１乃至Ｌ４）とする。センサ１５００を中心とした半径Ｒの範囲を展開した平面を考える。先に図３Ｂで示した場合では、設定した平面上に立体物が存在すると、立体物の一部が平面に張り付いてしまう。
【0075】
このため、一番近い立体物までの距離をＲとして、これより遠い位置の画像を球面オブジェクトに貼り付けることが考えられる。図１５では、４つの立体物１５０１ａ乃至１５０１ｄがセンサ１５００で検出でき、それぞれの立体物までの距離Ｌ１〜Ｌ４の最小値であるＬ４を半径Ｒとする平面オブジェクト１５０６を地面とする。これにより、立体物１５０１ａ乃至１５０１ｄは周囲に配置された球面上に貼り付けられ、地面に貼り付けられた場合に発生するような違和感のない画像を得られるというメリットがある。
【0076】
また、平面オブジェクト１５０６のように、立体物と半径Ｒの誤差が所定値よりも小さい範囲で半径Ｒを決めても良い。この場合、一部の立体物は設定した平面に貼り付けられ違和感のある画像になるが、多くの立体物は地面から立ち上がるような画像となり、全般的には違和感の少ない立体画像が作成可能である。本例では半径Ｒを算出する手法を記載しているが、レーダにより正確な周囲の立体情報が取れれば、その立体情報を元に３次元空間を生成し、そこにカメラ画像を投影することにより、より現実に近い立体画像が作成可能である。
【0077】
図１６Ａ乃至図１６Ｄは、本実施例において視点変換される前後の画像及び画像中の画素の対応を説明するための図である。図１６Ａは、本実施例における車両周辺に設定される空間の第３の見取り図である。
図１６Ｂは、本実施例において図１６Ａのカメラ３０１が撮像した画像を示す図である。
図１６Ｃは、本実施例において図１６Ｂの画像を仮想カメラ３０５から見るよう視点変換した画像を示す図である。
【0078】
前記したように、３次元的にオブジェクト空間を設定し、撮影画像をテクスチャとしてマッピングすることにより視点変換を実現することができる。しかし、図１の画像合成装置１００の空間生成部１０５及び画像変換部１０６が、画像を３次元的なオブジェクト空間にテクスチャマッピングすることができない場合には、画像の視点変換用に入力画像と出力画像との座標対応を表すテーブルデータを事前に作成し、２次元のテクスチャマッピングにて視点変換を行う方法がある。
【0079】
図１６Ｄは、本実施例における入力画像と出力画像との座標対応を表すテーブルデータの一例を示す図であり、図１６Ｂに示す変換前画像を入力画像とし、図１６Ｃに示す変換後画像を出力画像として、それぞれの画像中の座標の対応点を示したテーブルデータの例である。図１６Ｄでは、図１６Ｂにおける座標（ｕｉｎ，ｎ，ｖｉｎ，ｎ）の画素の色情報が図１６Ｃにおける座標（ｕｏｕｔ，ｎ，ｖｏｕｔ，ｎ）の画素の色情報に対応していることを示している。例えば図１６Ｂにおける画素１６０１Ａの色情報が、図１６Ｃにおける画素１６０１Ｂにマッピングされることを示している。
【0080】
この座標対応のテーブルデータは、入力画像の全画素もしくは出力画像の全画素を網羅するだけのデータ数を持たせても良いし、離散的な対応点を持たせてその間の画素の色情報を適切な補間処理方法にて求めても良い。この場合の適切な補間処理方法としては、バイリニア法やバイキュービック法など一般的な補間手法が挙げられる。
【0081】
図１７Ａ乃至図１７Ｄは、対応点を離散的に有する場合を説明するための図である。図１７Ａは、本実施例においてカメラ３０１が撮像した画像を示す図であり、先の図１６Ｂと同様であるが、×印が離散的なサンプリング点を示している。図１７Ａは、入力画像中の画素を等間隔でサンプリングする例を示す。
図１７Ｂは、本実施例において図１７Ａの画像を仮想カメラ３０５から見るよう視点変換した画像を示す図であり、先の図１６Ｃと同様であるが、図１７Ａにおけるサンプリング点の視点変換後の位置が×印で示されている。
なお、図１７Ａにおけるサンプリング点のうち１７０１で示す一点は、図１７Ｂにおいて１７０２で示す一点に変換されている。
【0082】
図１７Ｃは、本実施例においてカメラ３０１が撮像した画像を示す図であり、先の図１７Ａと同様であるが、×印で示す離散的なサンプリング点が図１７Ａとは異なる例を示している。図１７Ｃは、入力画像中の画素を画像の輪郭をはじめとする特徴点でサンプリングする例を示す。図１７Ｄは、本実施例において図１７Ｃの画像を仮想カメラ３０５から見るよう視点変換した画像を示す図であり、先の図１７Ｂと同様であるが、サンプリング点の視点変換後の位置が異なっている。
図１７Ｃにおけるサンプリング点のうち１７０３で示す一点は、図１７Ｄにおいて１７０４で示す一点、即ち画像の輪郭をはじめとする特徴点に変換されている。
【0083】
３次元状のオブジェクト空間にテクスチャマッピングできないような画像合成装置においては、仮想カメラもしくは３次元状のオブジェクト形状を動的に変える場合、事前に座標対応点のテーブルデータを複数作成し、これを切り替えることにより表示映像を変更することができる。
【0084】
図１８Ａ乃至図１８Ｃは、本実施例において仮想カメラの位置が異なる場合を説明するための図である。図１８Ａは、本実施例において仮想カメラ３０５が図６のＥに位置する時の視点変換後の画像を示す。
図１８Ｂは、本実施例において仮想カメラ３０５が図６のＤに位置する時の視点変換後の画像を示す。
なお、図１８Ａ及び図１８Ｂの画像は、図１７Ａで示した画像を基に変換されているものとする。
【0085】
図１８Ｃは、本実施例における視点変換する前後の画像の座標対応点を示すテーブルデータであり、図中Ｉｎｐｕｔは図１７Ａにおける変換前画像中の各サンプリング点、図中Ｏｕｔｐｕｔ＿ＶｉｅｗＥは図１８Ａにおける変換後画像中の各サンプリング点、図中Ｏｕｔｐｕｔ＿ＶｉｅｗＤは図１８Ｂにおける変換後画像中の各サンプリング点に対応している。即ち、仮想カメラ３０５の位置に応じて異なるテーブルデータを有している。図６において、仮想カメラ３０５の位置はＥの時とＤの時とでは離れているため、仮想カメラの位置に応じてテーブルデータを切り替えて映像表示させると、視点の移動が不連続になって、表示される画像が連続的に切り替わらない問題がある。
【0086】
そこで本実施例では、仮想カメラ位置もしくは３次元上のオブジェクト形状を変化させ、座標対応点のテーブルデータの間を離散的に作成した時、間のテーブルデータを線形補間演算によって求める。図１８Ａにおける視点Ｅと図１８Ｂにおける視点Ｄを、ｗ：（１−ｗ）で内分する視点のテーブルデータ（ｕｏｕｔ＿ｗ，ｎ，ｖｏｕｔ＿ｗ，ｎ）は、図１８Ｃにおける（ｕｏｕｔ＿Ｅ，ｎ，ｖｏｕｔ＿Ｅ，ｎ）及び（ｕｏｕｔ＿Ｄ，ｎ，ｖｏｕｔ＿Ｄ，ｎ）を用いて、次のように求められる。
【0087】
【数5】
【0088】
離散的に作成されたテーブルデータに対し、内分する点を十分に設けて補間演算によりテーブルデータを求めることにより、連続的な画像の切り替えを実現することができる。本発明における画像の合成方法に関しては、画像の特徴が抽出された位置の画素毎にブレンド率を算出しても良いし、重畳エリアで同じブレンド率を利用して合成しても良い。このように様々な変更を加えた実施例が考えられるが、いずれも本発明の範疇にある。
【符号の説明】
【0089】
１００：映像合成装置、１０１：カメラ、１０２：デコード部、１０３：バス、１０４：車両情報、１０５：空間生成部、１０６：画像変換部、１０７：カメラ情報部、１０８：ＣＰＵ、１０９：メモリ部、１１０：エンコード部、１１１：モニタ、２０１：カメラ撮影画像、２０２：仮想カメラ撮影画像、３００：自車、３０１：カメラ、３０２：立体物、３０３：道路、３０４：球面オブジェクト、３０５：仮想カメラ。