特許 6095684 ３Ｄ車両周辺映像生成方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6095684

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】３Ｄ車両周辺映像生成方法および装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20170306BHJP

   G06T 1/00 20060101ALI20170306BHJP

   G06T 17/05 20110101ALI20170306BHJP

   B60R 1/08 20060101ALI20170306BHJP

   H04N 13/02 20060101ALI20170306BHJP

【ＦＩ】

   H04N7/18 J

   G06T1/00 330A

   G06T17/05

   B60R1/08 Z

   H04N13/02 820

   H04N13/02 750

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2014-544648(P2014-544648)

(86)(22)【出願日】2012年9月27日

(65)【公表番号】特表2015-507386(P2015-507386A)

(43)【公表日】2015年3月5日

(86)【国際出願番号】KR2012007781

(87)【国際公開番号】WO2013081287

(87)【国際公開日】20130606

【審査請求日】2015年9月2日

(31)【優先権主張番号】10-2011-0127209

(32)【優先日】2011年11月30日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】511164374

【氏名又は名称】ＫＳＳ−イメージネクスト株式会社

【氏名又は名称原語表記】ＫＳＳ−ＩＭＡＧＥＮＥＸＴ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(72)【発明者】

【氏名】ハン ユン イン

(72)【発明者】

【氏名】チョン ソン ジェ

(72)【発明者】

【氏名】パク ジョン ウン

(72)【発明者】

【氏名】バク ウォン イン

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１０−１２８９５１（ＪＰ，Ａ）

【文献】 特開２０１０−２７４８１４（ＪＰ，Ａ）

【文献】 特開２０１０−１８５７６１（ＪＰ，Ａ）

【文献】 特開２００６−２８７８２６（ＪＰ，Ａ）

【文献】 国際公開第００／０６４１７５（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１１／００７４９１６（ＵＳ，Ａ１）

【文献】 特開２００９−２３２３１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／０８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １７／０５

Ｈ０４Ｎ １３／０２

(57)【特許請求の範囲】

【請求項1】

車両に設置された複数のカメラから撮影された映像を底面が平らで上部に行くほど半径が広くなる容器形態の３次元空間モデルにより定義される仮想面にマッピングする段階と
前記仮想面にマッピングされた映像を用いて仮想カメラの視点のビュー映像を生成する段階と、を含み、
前記３次元空間モデルの底面の大きさは、前記車両の走行速度に反比例する、３Ｄ車両周辺映像生成方法。

【請求項2】

前記仮想カメラの視点は、前記車両の走行状態および使用者の選択のうちの少なくとも一つにより決定される、請求項１に記載の３Ｄ車両周辺映像生成方法。

【請求項3】

合成映像生成は、
前記仮想面にマッピングされた映像と前記仮想カメラの視点のビュー映像との間の対応関係が予め定義されたルックアップテーブルを参照して行われる、請求項１に記載の３Ｄ車両周辺映像生成方法。

【請求項4】

前記ビュー映像を生成するために前記複数のカメラにより撮影された映像が重なる領域の中心が前記仮想カメラのチルト角度により変更される、請求項１に記載の３Ｄ車両周辺映像生成方法。

【請求項5】

前記複数のカメラは、前記車両の前方、右側、後方、左側にそれぞれ設置される前方カメラ、右側カメラ、後方カメラおよび左側カメラを含み、
前記仮想カメラの位置が前記車両の中心を基準に左側または右側に位置した程度に応じて前記仮想カメラが位置した側に設置されたカメラにより撮影された映像をさらに含むように重畳領域の中心が変更される、請求項１に記載の３Ｄ車両周辺映像生成方法。

【請求項6】

前記仮想カメラの視点は、前記車両の操向角方向またはギヤ位置に連動する、請求項２に記載の３Ｄ車両周辺映像生成方法。

【請求項7】

前記仮想カメラの視点に対する使用者の選択を入力させるためのユーザーインターフェース（ＵＩ）を表示する段階と、
前記ユーザーインターフェースを通じて入力された使用者の選択により前記仮想カメラの視点の変化を表示する段階と、をさらに含む、請求項２に記載の３Ｄ車両周辺映像生成方法。

【請求項8】

前記車両の走行位置周辺の建物情報および道路情報を前記仮想カメラの視点により前記ビュー映像に合成する段階をさらに含む、請求項２に記載の３Ｄ車両周辺映像生成方法。

【請求項9】

車両に設置された複数のカメラから撮影された映像を入力され、上記入力された映像を底面が平らで上部に行くほど半径が広くなる容器形態の３次元空間モデルにより定義される仮想面にマッピングし、前記仮想面にマッピングされた映像を用いて仮想カメラの視点で眺めたビュー映像を生成する周辺映像生成装置を含み、
前記３次元空間モデルの底面の大きさは、前記車両の走行速度に反比例する、車両周辺映像表示システム。

【請求項10】

前記周辺映像生成装置は、
前記車両の走行位置周辺の建物情報および道路情報を前記仮想カメラの視点により前記ビュー映像に合成する、請求項９に記載の車両周辺映像表示システム。

【請求項11】

前記複数のカメラは、
前記撮影された映像を前記周辺映像生成装置に近距離無線通信を通じて伝達する、請求項９に記載の車両周辺映像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺映像生成方法および装置に関し、より詳しくは、車両周辺映像を３Ｄで立体感あるように提供することができる車両周辺映像生成方法および装置に関する。

【背景技術】

【0002】

最近、自動車産業の発達に伴って１世帯に１台保有の時代という程度に自動車の普及は商用化されており、車両の安全度の向上と運転者の便宜を図るために多様な先端電子技術が自動車に適用されている。

【0003】

このような先端電子技術のうち、自動車の周辺環境を撮影して表示することによって運転者が自動車の周辺環境を肉眼で便利に確認することができる車両周辺映像表示システム（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ、ＡＶＭ）がある。車両周辺映像表示システムは、自動車の前方、後方、左側および右側にそれぞれ設置されたカメラを通じて周辺環境を撮影し、撮影された映像に基づいて重複領域を自然に示されるように補正処理して自動車の周辺環境を画面に表示する。これによって、運転者は表示された周辺環境を通じて自動車の周辺状況を正確に認識することができ、サイドミラーやバックミラーを見ることもなく便利に駐車することができる。

【0004】

特に、最近は車両周辺映像を多様な視点で眺めたビュー映像で提供する３Ｄ車両周辺映像提供システムに対する関心が増大している。より詳しくは、車両走行状態により合成画像の仮想視点の位置、視線の方向および焦点距離の少なくとも一つを変更することによって運転者がより便利に車両周辺状況を認識することができるようにする技術に対する研究開発が多様に行われている。

【0005】

このように３Ｄ車両周辺映像を提供するためには、基本的にカメラにより撮影された映像を３Ｄ空間モデルを用いて３次元空間の仮想面にマッピングする。そして、車両の走行状態または使用者の選択により決定されたカメラ仮想視点の位置、視線の方向および焦点距離により予め定められた対応関係により３次元空間の仮想面にマッピングされた入力映像から合成画像を生成することができる。しかし、３Ｄ空間モデルにより合成画像が自然に示されないという問題点があった。例えば３Ｄ空間モデルで半球形態のモデルを用いる場合、車両から遠距離に位置した物体は比較的に自然に表現されるが、車両近傍の地面は不自然に表現される傾向にあり、既存の２Ｄ車両周辺映像システムで用いる地面をマッピング面として用いる方式では、地面でない部分、例えば車両周辺に立っている人間または障害物などの場合は、像が長く伸びて正確な映像を得ることができないと共に、整合過程で各ビューの実際のカメラ映像が良好にマッチングされないため、整合が難しいという問題点があった。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、本発明が解決しようとする課題は、周辺障害物を含む車両周辺映像をより自然に且つ立体感あるように表現することができる３Ｄ車両周辺映像生成方法および装置を提供することにある。

【課題を解決するための手段】

【0007】

上記のような技術的課題を解決するための本発明の実施形態に係る３Ｄ車両周辺映像生成方法は、車両に設置された複数のカメラから撮影された映像を底面が平らで上部に行くほど半径が広くなる容器形態の３次元空間モデルにより定義される仮想面にマッピングする段階と、前記仮想面にマッピングされた映像を用いて仮想カメラの視点のビュー映像を生成する段階と、を含む。

【0008】

前記仮想カメラの視点は、前記車両の走行状態および使用者の選択のうちの少なくとも一つにより決定され得る。

【0009】

前記３次元空間モデルの底面の大きさは、前記車両の走行速度に反比例することができる。

【0010】

合成映像生成は、前記仮想面にマッピングされた映像と前記仮想カメラの視点のビュー映像との間の対応関係が予め定義されたルックアップテーブルを参照して形成され得る。

【0011】

前記ビュー映像を生成するために前記複数のカメラにより撮影された映像が重なる領域の中心が前記仮想カメラのチルト角度により変更され得る。

【0012】

前記複数のカメラは、前記車両の前方、右側、後方、左側にそれぞれ設置される前方カメラ、右側カメラ、後方カメラおよび左側カメラを含み、前記仮想カメラの位置が前記車両の中心を基準に左側または右側に位置した程度に応じて前記仮想カメラが位置した側に設置されたカメラにより撮影された映像をさらに含むように重畳領域の中心が変更され得る。

【0013】

前記仮想カメラの視点は、前記車両の操向角方向またはギヤ位置に連動することができる。

【0014】

前記方法は、前記仮想カメラの視点に対する使用者の選択を入力されるためのユーザーインターフェース（ＵＩ）を表示する段階と、前記ユーザーインターフェースを通じて入力された使用者の選択により前記仮想カメラの視点の変化を表示する段階と、をさらに含むことができる。

【0015】

前記方法は、前記車両の走行位置周辺の建物情報および道路情報を前記仮想カメラの視点により前記ビュー映像に合成する段階をさらに含むことができる。

【0016】

本発明の他の実施形態に係るコンピュータで読み取り可能な媒体は、前記方法のうちのいずれか一つをコンピュータに実行させるためのプログラムを記録する。

【0017】

本発明の他の実施形態に係る車両周辺映像表示システムは、車両に設置された複数のカメラから撮影された映像を入力される映像入力部と、前記映像入力部に入力された映像を底面が平らで上部に行くほど半径が広くなる容器形態の３次元空間モデルにより定義される仮想面にマッピングし、前記仮想面にマッピングされた映像を用いて仮想カメラの視点で眺めたビュー映像を生成する周辺映像生成装置とを含む。

【0018】

前記周辺映像生成装置は、前記車両の走行位置周辺の建物情報および道路情報を前記仮想カメラの視点により前記ビュー映像に合成することができる。

【0019】

前記複数のカメラは、前記撮影された映像を前記周辺映像生成装置に近距離無線通信を通じて伝達することができる。

【発明の効果】

【0020】

本発明によれば、周辺障害物を含む車両周辺映像をより自然に且つ立体感あるように表現することができるという長所がある。また、車両の走行状態により仮想視点を変更して最適の車両周辺映像を提供することができるという長所がある。また、使用者が便利に仮想カメラの視点を調整することができるという長所がある。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る外部パラメータ推定装置を含む車両周辺映像表示システムを説明するためのブロック図である。

【図2】本発明の実施形態に係るカメラの設置位置および三角形パターンが表示された校正板の配置を説明するための概略図である。

【図3】本発明の実施形態に係る車両設置カメラの外部パラメータを説明するための概略図である。

【図4】本発明の実施形態に係る三角形パターンが表示された補正板を含む前方カメラ入力映像の一例を示した図面である。

【図5】本発明の実施形態に係るカメラの外部パラメータを推定する方法を説明するためのフローチャートである。

【図6】本発明の実施形態に係る前方、後方、左側、右側カメラで撮影された映像からそれぞれ抽出された頂点を共に示した図面である。

【図7】本発明の実施形態に係るカメラの外部パラメータのうち、パン角度、Ｘ座標およびＹ座標を推定する方法を説明するためのフローチャートである。

【図8】本発明の一実施形態に係る３Ｄ車両周辺映像生成方法を説明するためのフローチャートである。

【図9】本発明の一実施形態に係る３次元空間モデルを説明するための図面である。

【図10】本発明の一実施形態に係る３次元空間モデルの仮想面に実際のカメラにより撮影された映像をマッピングする例を説明するための図面である。

【図11】本発明の一実施形態に係る仮想カメラ視点が使用者の選択により決定される方法について説明するための図面である。

【図12】複数のカメラにより撮影された映像が仮想カメラ視点のビュー映像の生成時に重なる領域を説明するための図面である。

【図13】本発明の一実施形態に係る車両周辺建物および道路情報を仮想カメラ視点のビュー映像に表示した例である。

【発明を実施するための形態】

【0022】

以下、添付図面を参照して本発明の実施形態について本発明が属する技術分野における通常の知識を有する者が容易に実施することができるように詳しく説明する。

【0023】

図１は、本発明の実施形態に係る外部パラメータ推定装置を含む車両周辺映像表示システムを説明するためのブロック図である。

【0024】

図１を参照すれば、車両周辺映像表示システムは、４台のカメラ２１０、２２０、２３０、２４０と、周辺映像生成装置３００と、表示装置４００とを含み、外部パラメータ推定装置１００をさらに含むことができる。もちろん、周辺映像生成装置３００と外部パラメータ推定装置１００を一体の形態で実現することができる。

【0025】

車両周辺映像表示システムは、車両に設置された４台のカメラ２１０、２２０、２３０、２４０を通じて撮影された映像を処理して生成された周辺映像を画面上に表示することによって、車両の周辺状況を運転者が確認することができるようにするシステムである。車両周辺映像表示システムは、車両周辺映像を仮想視点で眺めた３Ｄ映像で提供することができる。そのために、車両に設置された４台のカメラ２１０、２２０、２３０、２４０の姿勢および位置に対する外部パラメータを知らなければならない。

【0026】

４台のカメラ２１０、２２０、２３０、２４０は、それぞれ車両の前方、後方、左側および右側に設置され、広角レンズ、魚眼レンズなどのように画角が広いレンズを備えることができる。カメラ２１０、２２０、２３０、２４０は、レンズを通じて３次元の被写体を２次元の映像で撮影し、撮影された映像を外部パラメータ推定装置１００、周辺映像生成装置３００等に提供することができる。実施形態によりカメラ２１０、２２０、２３０、２４０は、ワイファイ（Ｗｉ−Ｆｉ）、ブルートゥース、ジグビー、ＵＷＢなど近距離無線通信モジュールを搭載し、周辺映像生成装置３００、外部パラメータ推定装置１００に映像を無線で伝送するように具現されることもできる。

【0027】

外部パラメータ推定装置１００は、４台のカメラ２１０、２２０、２３０、２４０で提供された映像から三角形パターンをなす頂点を抽出し、抽出された頂点を用いてカメラ２１０、２２０、２３０、２４０の外部パラメータを推定することができる。次に、外部パラメータ推定方法について詳しく説明する。

【0028】

周辺映像生成装置３００は、４台のカメラ２１０、２２０、２３０、２４０から提供された映像を用いて、車両走行状況または使用者の選択により決定される所定の仮想視点を有する仮想カメラに対する仮想視点映像を生成して表示装置４００に出力することができる。そのために、周辺映像生成装置３００は、カメラ２１０、２２０、２３０、２４０から提供された入力映像を３Ｄモデル面にマッピングさせてテキスチャーマップ（ｔｅｘｔｕｒｅ ｍａｐ）を求めることができるが、これは外部パラメータ推定装置１００で求められたカメラの外部パラメータに基づいて求められるカメラ別プロジェクションモデルが用いられ得る。そして、入力映像を３Ｄモデル仮想面にマッピングする過程で互いに異なるカメラで撮影された入力映像が自然に示されるようにするため、加重ブレンディング（ｗｅｉｇｈｔｅｄ ｂｌｅｎｄｉｎｇ）技法などが用いられ得る。そして、周辺映像生成装置３００は、所定の仮想視点が決められると該当仮想視点を有する仮想カメラのプロジェクションモデルを用いてテキスチャーマップから仮想視点映像を生成して出力することができる。

【0029】

表示装置４００は、生成された周辺映像を液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ‐Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＯＬＥＤ）等の表示モジュールに表示する。もちろん、車両内に設置された自動航法装置（図示せず）等が周辺映像を提供して画面に表示することもできる。

【0030】

一方、実施形態により周辺映像生成装置３００、外部パラメータ推定装置１００、表示装置４００は、スマートフォン、タブレットＰＣなどのような携帯通信端末として具現され得る。

【0031】

また、４台のカメラ２１０、２２０、２３０、２４０のレンズ歪曲などを補正する作業および各カメラ別プロジェクションモデルを求める作業などが必要になり得るが、これは一般に知られた公知の技術を用いることができるため、詳しい説明は省略する。

【0032】

以下、本発明の一実施形態に係る三角形パターンを用いて車両に設置されたカメラの外部パラメータを推定する方法について詳しく説明する。

【0033】

図２は、本発明の実施形態に係るカメラの設置位置および三角形パターンが表示された校正板の配置を説明するための概略図である。

【0034】

図１および図２を参照すれば、車両（Ｖ）の前方、後方、左側および右側にそれぞれカメラ２１０、２２０、２３０、２４０が設置される。カメラ２１０、２２０、２３０、２４０が設置される位置をより詳細に説明すれば、前方に設置されたカメラ２１０は、車両（Ｖ）のボンネット中心に設置され、左側および右側に設置されたカメラ２３０、２４０は、それぞれ車両（Ｖ）の両サイドミラーの縁または下側に位置するように設置され得る。また、後方に設置されたカメラ２２０は、後方バンパーの上側中央に設置され得る。カメラの高さと角度により撮影される映像のスケール、画質などが相異するため、前方および後方に設置されたカメラ２１０、２２０の高さは、互いに同一にすることが好ましく、同様に左側および右側に設置されたカメラ２３０、２４０の高さも互いに同一にすることが好ましい。このようにカメラ２１０、２２０、２３０、２４０の設置高さを同一にすることによって、周辺映像の生成時に重複領域で車線幅の広さが同一に表現されず、周辺事物の大きさが異質的に示される現象を最小化させることができる。また、左側および右側に設置されたカメラ２３０、２４０は、地面方向の垂直線を基準に１７０°以上が撮影され得るように設置される。ここで、各カメラ２１０、２２０、２３０、２４０の設置位置は、車両の種類によって異なってもよく、車両のデザインによって設置上の制約が発生することもある。

【0035】

一般に広角カメラは、レンズ周辺部の光量が不足して画質の低下が発生し、レンズの中心部よりも周辺部に歪曲が多く発生し得る。また、カメラを通じて撮影された映像を視点変換する時、周辺部の映像は画質が激しく低下する。したがって、カメラレンズの中心部領域に形成された映像を使用するために、前方および後方に設置されたカメラ２１０、２２０は光軸が地平線と平行するように、左側および右側に設置されたカメラ２３０、２４０は光軸が地面と垂直になるように設置され得る。また、車両（Ｖ）の前後方および左右側面から約１．５ｍ離れた範囲まで撮影されるようにカメラ２１０、２２０、２３０、２４０の設置高さを決定し、この時、カメラ２１０、２２０、２３０、２４０は地面に対する垂直軸から約３０°乃至６０°程度まで撮影されるように設置され得る。前述したカメラの設置位置は、好適な実施形態について説明したものであり、本発明に係るカメラの外部パラメータ推定装置１００は、必ずしもカメラ２１０、２２０、２３０、２４０が該当位置に正確に設置されなければならないのではない。

【0036】

一方、三角形パターンが表示された校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）は、カメラ２１０、２２０、２３０、２４０で撮影された各映像に二つの校正板が含まれるように車両（Ｖ）の各角部から一定の距離を置いて設置され得る。つまり、前方に設置されたカメラ２１０で撮影された映像には校正板（ＰＬ１、ＰＬ２）が含まれ、後方に設置されたカメラ２２０で撮影された映像には校正板（ＰＬ３、ＰＬ４）が含まれ、左側に設置されたカメラ２３０で撮影された映像には校正板（ＰＬ１、ＰＬ４）が含まれ、右側に設置されたカメラ２４０で撮影された映像には校正板（ＰＬ２、ＰＬ３）が含まれるように車両（Ｖ）の各角部から一定の距離を置いて校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）が設置され得る。校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）は、大略的に車両（Ｖ）の前方左側、前方右側、後方右側および後方左側にそれぞれ設置されればよく、必ずしも正確な予め定められた位置に設置されなければならないのではない。ただし、校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）は、車両（Ｖ）が位置した地面に平行に配置されなければならない。

【0037】

そして、校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）は、図２に例示したように、一定の厚さを有する正三角形パターンが表示され得るが、縁内部の三角形の大きさが外部三角形の大きさの０．４〜０．８になるように具現することができる。これは周辺の類似する三角パターンから校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）に表示された三角形パターンを自動的に正確に抽出するためのものであり、必ずしもこれに限定されるのではない。基本的に校正板（ＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４）は、正三角形の頂点に該当する頂点を抽出することができる形態であれば多様に具現され得る。

【0038】

図３は、本発明の実施形態に係る車両設置カメラの外部パラメータを説明するための概略図である。

【0039】

図３を参照すれば、車両（Ｖ）に設置されたカメラ２１０、２２０、２３０、２４０の外部パラメータは、３次元空間座標（ｘ、ｙ、ｚ）と、カメラ２１０、２２０、２３０、２４０のパン、チルト、ロール角度（θ、ψ、Φ）とを含むことができる。

【0040】

３次元空間座標（ｘ、ｙ、ｚ）のうち、座標（ｚ）は車両（Ｖ）が位置した地面（Ｇ）からの高さに対応し、図３（ａ）に例示したように前方カメラ２１０、左側カメラ２３０、右側カメラ２４０の高さは、それぞれｚ_Ｆ、ｚ_Ｌ、ｚ_Ｂになり得る。そして、座標（ｘ）と座標（ｙ）は、車両（Ｖ）が位置した地面（Ｇ）に平行な仮想平面上での位置に対応し、図３（ｂ）に例示したように車両（Ｖ）の中心部（Ｏ）を座標基準にすることができる。

【0041】

一方、パン角度（θ）は、カメラ２１０、２２０、２３０、２４０のヘッド方向が車両（Ｖ）の進行方向となす角度と定義され、図３（ｂ）に例示したようにカメラ２１０、２２０、２３０、２４０のパン角度は、それぞれθ_Ｆ、θ_Ｂ、θ_Ｌ、θ_Ｒの値を有することができる。

【0042】

チルト角度（ψ）は、地面（Ｇ）となす角度と定義され、図３（ａ）に例示したように前方カメラ２１０、後方カメラ２２０のチルト角度は、それぞれψ_Ｆ、ψ_Ｂの値を有することができる。

【0043】

ロール角度（Φ）は、カメラヘッド方向軸を基準にしたカメラ２１０、２２０、２３０、２４０の回転角度と定義され、図３（ａ）に例示したように左側カメラ２３０のロール角度はΦ_Ｌの値を有することができる。

【0044】

図４は、本発明の実施形態に係る三角形パターンが表示された補正板を含む前方カメラ入力映像の一例を示した図面であり、図５は、本発明の実施形態に係るカメラの外部パラメータを推定する方法を説明するためのフローチャートである。

【0045】

図４を参照すれば、前方カメラ２１０により撮影されて入力された映像は、２つの三角形パターンが表示された校正板（ＰＬ１、ＰＬ２）が含まれ得る。校正板（ＰＬ１、ＰＬ２）に表示された三角形パターンが実際は辺の長さがＡである正三角形であるとしても、前方カメラ２１０のレンズ歪曲、チルト角度（ψ）、ロール角度（Φ）および高さ（ｚ）により入力映像において三角形パターンの辺の長さ（ａ_１、ａ_２、ａ_３、ａ_４、ａ_５、ａ_６）は互いに異なるようになる。

【0046】

ところで、前方カメラ２１０による入力映像においてレンズ歪曲を予め知られた方法で補正し、車両（Ｖ）の上方で地面（Ｇ）を見下ろす方向（トップビュー）の仮想視点を有する仮想カメラの映像に変換すれば三角形パターン（ＰＬ１、ＰＬ２）の辺の長さ（ａ_１、ａ_２、ａ_３、ａ_４、ａ_５、ａ_６）は互いに同一になる。

【0047】

これを参考にして前方カメラ２１０で入力される映像に対して次のような作業を行えば前方カメラ２１０のチルト角度（ψ）、ロール角度（Φ）および高さ（ｚ）を推定することができる。

【0048】

図５は、本発明の実施形態に係るカメラの外部パラメータのうち、チルト角度、ロール角度および高さを推定する方法を説明するためのフローチャートである。

【0049】

図５を参照すれば、まず、外部パラメータ推定装置１００は、前方カメラ２１０による入力映像に対してレンズ歪曲を補正する（Ｓ５１０）。以降、前方カメラにより撮影された映像に含まれている前方左側校正板（ＰＬ１）および前方右側校正板（ＰＬ２）に表示された三角形パターンでそれぞれ３つずつ総６つの頂点（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６）を抽出する（Ｓ５２０）。

【0050】

次に、外部パラメータ推定装置１００は、前方カメラ２１０のチルト角度（ψ）、ロール角度（Φ）および高さ（ｚ）を変化させながら抽出された６つの頂点（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６）の座標を世界座標に変換する（Ｓ５３０）。ここで世界座標とは、任意の基準点または車両（Ｖ）の中心が位置した地面（Ｇ）上の点（Ｏ）を座標基準点とすることができる。

【0051】

外部パラメータ推定装置１００は、段階Ｓ５３０で求められた６つの頂点（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６）の世界座標を用いて前方左側校正板（ＰＬ１）および前方右側校正板（ＰＬ２）に表示された三角形パターンの辺の長さ（ａ_１、ａ_２、ａ_３、ａ_４、ａ_５、ａ_６）を求める（Ｓ５４０）。

【0052】

最後に、三角形パターンの実際の辺の長さ（Ａ）と段階Ｓ５４０で求められた三角形パターンの辺の長さ（ａ_１、ａ_２、ａ_３、ａ_４、ａ_５、ａ_６）との差の大きさを最小化するチルト角度（ψ）、ロール角度（Φ）および高さ（ｚ）を前方カメラ２１０のチルト角度（ψ_Ｆ）、ロール角度（Φ_Ｆ）および高さ（ｚ_Ｆ）と推定することができる（Ｓ５５０）。段階Ｓ５５０で次の数式１により求められる値、ｆ（ψ、Φ、ｚ）を最小化するチルト角度（ψ_Ｆ）、ロール角度（Φ_Ｆ）および高さ（ｚ_Ｆ）を求めればよい。

【数1】

前述した方法と同様に残りの後方カメラ２２０、右側カメラ２３０および左側カメラ２４０のチルト角度（ψ）、ロール角度（Φ）および高さ（ｚ）を推定することができる。

【0053】

次に、カメラ２１０、２２０、２３０、２４０の位置座標（ｘ、ｙ）およびパン角度（θ）を推定する方法について説明する。

【0054】

図６は、本発明の実施形態に係る前方、後方、左側、右側カメラで撮影された映像からそれぞれ抽出された頂点を共に示した図面である。

【0055】

図６を参照すれば、頂点（Ｐ１_Ｆ、Ｐ２_Ｆ、Ｐ３_Ｆ）は前方左側校正板（ＰＬ１）に対して前方カメラ２１０で撮影された映像から抽出された３つの頂点であり、頂点（Ｐ４_Ｆ、Ｐ５_Ｆ、Ｐ６_Ｆ）、は、前方右側校正板（ＰＬ２）に対して前方カメラ２１０で撮影された映像から抽出された３つの頂点である。そして、頂点（Ｐ４_Ｒ、Ｐ５_Ｒ、Ｐ６_Ｒ）は前方右側校正板（ＰＬ２）に対して右側カメラ２３０で撮影された映像から抽出された３つの頂点であり、頂点（Ｐ７_Ｒ、Ｐ８_Ｒ、Ｐ９_Ｒ）は後方右側校正板（ＰＬ３）に対して右側カメラ２３０で撮影された映像から抽出された３つの頂点である。そして、頂点（Ｐ７_Ｂ、Ｐ８_Ｂ、Ｐ９_Ｂ）は後方右側校正板（ＰＬ３）に対して後方カメラ２２０で撮影された映像から抽出された３つの頂点であり、頂点（Ｐ１０_Ｂ、Ｐ１１_Ｂ、Ｐ１２_Ｂ）は後方左側校正板（ＰＬ４）に対して後方カメラ２２０で撮影された映像から抽出された３つの頂点である。最後に、頂点（Ｐ１０_Ｌ、Ｐ１１_Ｌ、Ｐ１２_Ｌ）は後方左側校正板（ＰＬ４）に対して左側カメラ２３０で撮影された映像から抽出された３つの頂点であり、頂点（Ｐ１_Ｌ、Ｐ２_Ｌ、Ｐ３_Ｌ）は前方左側校正板（ＰＬ１）に対して左側カメラ２４０で撮影された映像から抽出された３つの頂点である。

【0056】

図７は、本発明の実施形態に係るカメラの外部パラメータのうち、パン角度、Ｘ座標およびＹ座標を推定する方法を説明するためのフローチャートである。

【0057】

図７を参照すれば、まず、各カメラ２１０、２２０、２３０、２４０で撮影された映像でレンズ歪曲の補正後に抽出された頂点に対して世界座標を求めることができる（Ｓ７１０）。段階Ｓ７１０でカメラ２１０、２２０、２３０、２４０のチルト角度（ψ）、ロール角度（Φ）および高さ（ｚ）は、前述した方法により推定された値を用い、位置座標（ｘ、ｙ）およびパン角度（θ）は、予め定められた初期値と設定する。例えば、前方カメラ２１０のパン角度（θ）は０°に設定し、左側カメラ２４０は９０°、後方カメラ２２０は１８０°、右側カメラ２３０は２７０°に設定することができ、位置座標（ｘ、ｙ）は、車両中心（Ｏ）を座標基準点にしてカメラ２１０、２２０、２３０、２４０が正確に設置された場合を考慮した値を初期値と設定することができる。カメラ２１０、２２０、２３０、２４０が予め定められた基準位置および姿勢に正確に設置された場合、段階Ｓ７１０で求められる頂点（Ｐ１_Ｆ、Ｐ２_Ｆ、Ｐ３_Ｆ）と頂点（Ｐ１_Ｌ、Ｐ２_Ｌ、Ｐ３_Ｌ）の対応点の世界座標は互いに一致して位置誤差がないだろう。しかし、実際にはカメラ装着過程または運行過程などで誤差が発生することがあるので、対応点の間に位置誤差が発生することがある。ここで位置誤差とは、世界座標を基準に対応点の間の距離と定義することができる。

【0058】

以降、外部パラメータ推定装置１００は、カメラ２１０、２２０、２３０、２４０の位置座標（ｘ、ｙ）およびパン角度（θ）を変化させながら対応点の間に位置誤差を求める（Ｓ７２０）。

【0059】

最後に、対応点の間の位置誤差を最小化する値でカメラ２１０、２２０、２３０、２４０の位置座標（ｘ、ｙ）およびパン角度（θ）を推定することができる（Ｓ７３０）。段階Ｓ７３０で次の数式２により求められる値、ｆ（θ_Ｆ、θ_Ｂ、θ_Ｌ、θ_Ｒ、ｘ_Ｆ、ｘ_Ｂ、ｘ_Ｌ、ｘ_Ｒ、ｙ_Ｆ、ｙ_Ｂ、ｙ_Ｌ、ｙ_Ｒ）を最小化させる位置座標（ｘ、ｙ）およびパン角度（θ）を求めればよい。

【数2】

ここで、Ｄｉは互いに異なるカメラで撮影された映像から抽出された頂点のうち、対応点の間の距離を意味する。例えば、Ｄ１は頂点（Ｐ１_Ｆ）と頂点（Ｐ１_Ｌ）との間の距離を意味する。

【0060】

このような方法で各カメラ２１０、２２０、２３０、２４０の相対的な外部パラメータを推定することができ、カメラ２１０、２２０、２３０、２４０の中で一つの絶対的位置および姿勢を知れば残りのカメラの絶対的位置および姿勢を求めることができる。もちろん、カメラ２１０、２２０、２３０、２４０の中で一つの位置を世界座標の基準点とする場合は、自然に残りのカメラの絶対的位置および姿勢を求めることもできる。一方、上記で説明した方法以外にも多様な方法で車両に装着されたカメラの絶対的位置および姿勢を求めることができるのはもちろんである。

【0061】

次に、本発明の一実施形態に係る３Ｄ車両周辺映像生成方法について説明する。

【0062】

図８は、本発明の一実施形態に係る３Ｄ車両周辺映像生成方法を説明するためのフローチャートである。

【0063】

図８を参照すれば、まず、周辺映像生成装置３００は、カメラ２１０、２２０、２３０、２４０から撮影された映像を３次元空間モデルにより定義される仮想面にマッピングすることができる（Ｓ８１０）。段階Ｓ８１０で３次元空間モデルは、図９に例示したように底面（Ａ）が平らで上部に行くほど半径が広くなる容器形態の仮想面を有するモデル（Ｍ）が用いられ得る。

【0064】

図９（ａ）を参照すれば、３次元空間モデル（Ｍ）は、底面（Ａ）は長半径（ｂ_１）と短半径（ａ_１）を有し、上部に行くほど半径が広くなりながら高さ（ｃ）で開放された上部面（Ａ’）は長半径（ｂ_１＋ｂ_２）と短半径（ａ_１＋ａ_２）を有するものと定義され得る。もちろん、場合によって底面と上部面が円形で具現されることもできる。

【0065】

図９（ｂ）および図９（ｃ）を参照すれば、一方、３次元空間モデル上で点（Ｐ）がＸ軸からそして上部面（Ａ’）とはθの角度をなす場合、次の数式による仮想面上に位置するようになる。

【数3】

ここでαは、底面の大きさと関連したパラメータであり、αが「０」であれば底面がなく、αが「１」であれば底面が長半径（ｂ_１）と短半径（ａ_１）を有するようになる。α値を調整して底面の大きさを調節することもでき、システム設計者により設定されるか、または後述するように車両走行状態、走行速度などによりその値が変動し得る。

【0066】

図１０は、本発明の一実施形態に係る３次元空間モデルの仮想面に実際のカメラにより撮影された映像をマッピングする例を説明するための図面である。

【0067】

図１０を参照すれば、車両周辺に立っている物体（Ｓ_Ｏ）が地面と平らな底面でない３次元曲面区間（Ｃ_３Ｄ）に投影され得る。したがって、２Ｄ平面で投影する時は該当物体が長く伸びるようにマッピングされるが、３次元曲面区間に投影されることによって該当物体が長く伸びるように投影されることを防止できる長所がある。

【0068】

このように底面が平らで上部に行くほど半径が広くなる容器形態の仮想面を有するモデルを３次元空間モデルとして利用すれば次のような長所がある。

【0069】

まず、平らな底面部分ではパララックス（ｐａｒａｌｌｅｘ）による不整合現象が起こらない。車両から一定の周辺領域は地面部分に示されるパターンを示す必要がある。そのために、一定の部分に対して地面と付いている形態を有することが良好な結果を示す。

【0070】

また、本実施形態での３次元空間モデルの底面部分の大きさは、底面に対応する楕円の長短半径係数だけを調節すればよいため容易である。したがって、関心周辺領域をどの程度に設定するのかによって簡単にマッピング仮想面を調節することができる。例えば、車両が駐車したり徐行したりする場合には、車両周辺底面を確認する必要性が大きくなるので、３次元空間モデルの底面の大きさが大きくなるように調整するのが有利であり、反面、相対的に高速に走行する場合は、車両の遠距離部分を確認する必要性が大きくなるので、３次元空間モデルの底面の大きさが小さくなるように調整するのが有利である。したがって、周辺映像生成装置３００は、３次元空間モデルの底面の大きさを車両の走行速度に反比例するように調整することが好ましい。

【0071】

一方、本発明による３次元空間モデルは、切断面が急に折れる曲線なしにスムースに変化するので、ビュー映像で不自然に折れる部分なしに自然に示される長所がある。そして、最後に入力映像をマッピングすることにおいて、マッピング仮想面上に基準点（ｆｉｄｕｃｉａｌ ｐｏｉｎｔ）の位置を定めることが容易であるという長所もある。ここで基準点（ｆｉｄｕｃｉａｌ ｐｏｉｎｔ）とは、前記数式におけるθとψをどれだけの間隔で基準点（ｆｉｄｕｃｉａｌ ｐｏｉｎｔ）をとるのかにより決めることができる。

【0072】

再び図８に戻り、段階Ｓ８１０後、周辺映像生成装置３００は仮想面にマッピングされた映像を用いて仮想カメラの視点のビュー映像を生成することができる（Ｓ８２０）。段階Ｓ８２０で仮想カメラの視点のビュー映像は、仮想面にマッピングされた映像と仮想カメラ視点のビュー映像との間の対応関係が予め定義されたルックアップテーブルを参照して形成されるか、または両者の対応関係を定義する関数を用いて形成され得る。

【0073】

一方、仮想カメラの視点は、車両の走行状態または使用者の選択のうちの少なくとも一つにより決定されるように具現され得る。

【0074】

より詳しくは、車両の走行状態は、車両の速度、操向角方向またはギヤ位置に連動して仮想カメラの視点が決定されるように具現することができる。例えば、車両が一定の速度以上で前方へ走行する場合は、仮想カメラ視点は車両前方の地面と平行するか地面となすチルト角度（ψ）が小さくなるように設定され、反対に一定の速度以下に前方へ走行する場合は、地面となすチルト角度（ψ）が大きくなるように設定され得る。一方、後進ギヤの場合は、仮想カメラ視点が後方に設定され得る。また車両の操向角方向が左側である場合は仮想カメラ視点は車両の前方左側に、操向角方向が右側である場合は車両の前方右側に設定され得る。

【0075】

次に、仮想カメラ視点が使用者の選択により決定される方法について図１１を参照して説明する。

【0076】

図１１を参照すれば、使用者が仮想カメラ視点設定メニューを選択すると、図１１（ａ）に例示したように、車両（Ｖ）を上部から見下ろす形態で仮想カメラ（Ｃ）が表示されるユーザーインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＵＩ）画面が提供される。そうすると、使用者は画面上で仮想カメラ（Ｃ）の前部分を回転させて仮想カメラパン角度（θ）を調整することができ、仮想カメラ（Ｃ）をドラッグして所望の位置（Ｘ、Ｙ）に移動させることができる。

【0077】

そして、図１１（ｂ）に例示したように、車両（Ｖ）を側面から見る形態で仮想カメラ（Ｃ）が表示されるユーザーインターフェース画面を提供することもできる。この画面で使用者は仮想カメラ（Ｃ）の前部分を回転させてチルト角度（ψ）を調整し、仮想カメラ（Ｃ）をドラッグして仮想カメラ（Ｃ）の高さ（Ｚ）を調整することができる。

【0078】

このように使用者により仮想カメラ視点設定が完了すると、図１１（ｃ）に例示したように、仮想カメラ視点を立体的に理解できる画面を提供することもできる。

【0079】

一方、ビュー映像を生成するために複数のカメラ２１０、２２０、２３０、２４０により撮影された映像が重なる領域を次のように処理することが好ましい。

【0080】

図１２は、複数のカメラにより撮影された映像が仮想カメラ視点のビュー映像の生成時に重なる領域を説明するための図面である。

【0081】

図１２を参照すれば、たとえ仮想カメラ視点が車両上方から地面を垂直に見下ろす方向に設定された場合（仮想カメラのチルト角度が９０°である場合）、図１２（ａ）に例示したように前方カメラ２１０で撮像された映像は、第１、２、３領域にマッピングされ、後方カメラ２２０で撮像された映像は第７、８、９領域にマッピングされる。また左側カメラ２３０で撮像された映像は第１、４、７領域にマッピングされ、右側カメラ２４０で撮像された映像は第３、６、９領域にマッピングされる。ここで、第１、３、７、９領域は、複数のカメラにより重複撮影された重複領域である。つまり、第１領域は前方カメラ２１０と左側カメラ２３０により重複して撮影された重複領域であり、第３領域は前方カメラ２１０と右側カメラ２４０により重複して撮影された重複領域である。また、第７領域は後方カメラ２２０と左側カメラ２３０により重複して撮影された重複領域であり、第９領域は後方カメラ２２０と右側カメラ２４０により重複して撮影された重複領域である。そして、第５領域は車両に対応するイメージが表示される領域である。この時、重複領域の中心（ＬＣ_１、ＬＣ_３、ＬＣ_７、ＬＣ_９）は車両の対角方向に位置するようにすることができる。

【0082】

そして、重畳領域に対する処理は、重畳領域の中心（ＬＣ_１、ＬＣ_３、ＬＣ_７、ＬＣ_９）を基準に分けられた領域、例えば重畳領域３の場合、領域（３−１）は前方カメラ２１０で撮影された映像を適用し、領域（３−２）は右側カメラ２４０で撮影された映像を適用するように具現することができる。もちろん、実施形態により重畳領域の中心（ＬＣ_３）を基準に加重値を異なるように適用して、領域（３−１）は前方カメラ２１０で撮影された映像に加重値をより高く与えて処理し、領域（３−２）は右側カメラ２４０で撮影された映像に加重値をより高く与えて処理するように具現することもできる。残りの重畳領域に対しても同様な方法により処理することができる。

【0083】

一方、仮想カメラ視点が車両後方から前方を眺める方向に設定された場合（仮想カメラのチルト角度が９０°よりも小さく設定された場合）、重畳領域の中心（ＬＣ_１、ＬＣ_３）を車両の縦軸方向に近くすることができる。一般に仮想カメラ視点が車両後方から前方を眺める方向に設定される場合は車両が走行している時である。この場合、左右側の死角地帯に対して運転者がより自然且つ便利に確認する必要があるが、このためには左右側カメラ２３０、２４０により撮影された映像をビュー映像により多く反映されるように図１２（ｂ）に例示したように重なる領域の中心を車両の縦方向に近く処理することが好ましい。

【0084】

一方、仮想カメラ視点の位置を車両の左側または右側に位置した程度に応じて仮想カメラが位置した側に設置されたカメラにより撮影された映像をさらに含むように重畳領域の中心を変更させることが好ましい。例えば、仮想カメラ視点の位置が左側へ移動するほど重畳領域の中心（ＬＣ_１、ＬＣ_７）を車両の縦方向に近く変更させることが好ましく、反対に仮想カメラ視点の位置が右側へ移動するほど重畳領域の中心（ＬＣ_３、ＬＣ_９）を車両の縦方向に近く変更させることが好ましい。

【0085】

最後に、段階Ｓ８２０で生成された仮想カメラ視点のビュー映像は、表示装置４００に出力される（Ｓ８３０）。

【0086】

そして、車両の走行状態により重畳領域の中心（ＬＣ_１、ＬＣ_３、ＬＣ_７、ＬＣ_９）および３次元空間モデルの底面の大きさなどを変化させながら段階Ｓ８１０乃至段階Ｓ８３０を繰り返すことができる。もちろん、実施形態によっては使用者が設定した仮想カメラ視点のとおりビュー映像を固定して生成し、車両の走行状態などには影響を受けないように具現することもできる。

【0087】

一方、実施形態により本発明による周辺映像生成装置３００は、ＧＰＳ受信モジュール（図示せず）と連動して現在車両の走行位置情報の提供を受けることができる。そして、周辺映像生成装置３００は、現在車両の走行位置周辺の建物および道路情報ＤＢと連動して仮想カメラ視点のビュー映像に周辺建物および道路情報を合成して拡張現実で表示することもできる。図１３は、本発明の一実施形態に係る車両周辺建物情報１３２０および道路情報１３１０を仮想カメラ視点のビュー映像に表示した例である。

【0088】

ＧＰＳ受信モジュールは、周辺映像生成装置３００がスマートフォンなどのような無線通信端末内に搭載された場合は、該当無線通信端末内に含まれているＧＰＳ受信装置を用いることができ、車両内に別途に設置されたＧＰＳ受信モジュールで具現されることもできる。そして、車両の走行位置周辺の建物および道路情報ＤＢは、周辺映像生成装置３００の内部メモリに保存されたり、別途のナビゲーション装置（図示せず）と連結して提供されたりすることもでき、周辺映像生成装置３００が３Ｇ、４Ｇなどのネットワーク通信モジュールを備えた場合またはスマートフォンに装着された場合には、外部のＤＢサーバーから伝送されることもできる。

【0089】

本発明の実施形態は、多様なコンピュータで具現される動作を行うためのプログラム命令を含むコンピュータで読み取り可能な媒体を含む。この媒体は、上記で説明した３Ｄ車両周辺映像生成方法を実行させるためのプログラムを記録する。この媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。このような媒体の例には、ハードディスク、フロプティカルディスクおよび磁気テープのような磁気媒体、ＣＤおよびＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存、遂行するように構成されたハードウェア装置などがある。あるいは、このような媒体は、プログラム命令、データ構造などを指定する信号を伝送する搬送波を含む光または金属線、導波管などの伝送媒体でありうる。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタープリタなどを使用してコンピュータにより実行され得る高級言語コードを含む。

【0090】

以上で、本発明の好ましい実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるのではなく、特許請求の範囲で定義している本発明の基本概念を利用した当業者の多様な変形および改良形態も本発明の権利範囲に属する。

【産業上の利用可能性】

【0091】

本発明は、車両周辺映像を３Ｄで立体感あるように提供することができる車両周辺映像生成方法および装置に適用することができる。

【符号の説明】

【0092】

１００…外部パラメータ推定装置
２１０、２２０、２３０、２４０…カメラ
３００…周辺映像生成装置
４００…表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】