特許 6029459 画像合成装置、および画像合成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6029459

(24)【登録日】2016年10月28日

(45)【発行日】2016年11月24日

(54)【発明の名称】画像合成装置、および画像合成方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20161114BHJP

   G06T 1/00 20060101ALI20161114BHJP

【ＦＩ】

   H04N5/232 Z

   G06T1/00 330

【請求項の数】5

【全頁数】12

(21)【出願番号】特願2012-282912(P2012-282912)

(22)【出願日】2012年12月26日

(65)【公開番号】特開2014-127839(P2014-127839A)

(43)【公開日】2014年7月7日

【審査請求日】2015年11月17日

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100123434

【弁理士】

【氏名又は名称】田澤 英昭

(74)【代理人】

【識別番号】100101133

【弁理士】

【氏名又は名称】濱田 初音

(74)【代理人】

【識別番号】100173934

【弁理士】

【氏名又は名称】久米 輝代

(74)【代理人】

【識別番号】100156351

【弁理士】

【氏名又は名称】河村 秀央

(72)【発明者】

【氏名】三木 洋平

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２０１２−１３８６６０（ＪＰ，Ａ）

【文献】 特開２００９−２３２３１０（ＪＰ，Ａ）

【文献】 特開２０１１−０８７３１９（ＪＰ，Ａ）

【文献】 米国特許第０６２４６４１３（ＵＳ，Ｂ１）

【文献】 特開２００６−３０９６２６（ＪＰ，Ａ）

【文献】 特開２０１１−１３５４５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

乗り物に搭載され周辺状況を撮影する複数の撮影装置から画像を取得し、乗り物に搭載され決められた方向の被写体の距離を計測する距離計測装置から被写体の距離情報を取得して、パノラマ画像を生成する画像合成装置において、
前記撮影装置が撮影した画像を取得する画像取得部と、
カメラ情報を格納しているカメラ情報格納部と、
視点位置情報を格納している視点位置格納部と、
前記カメラ情報格納部に格納されているカメラ情報から画像合成時に画像重畳する領域を求め、前記画像重畳する領域と前記距離計測装置から取得する被写体の距離情報とから投影面の形状を算出する投影面形状算出部と、
前記投影面形状算出部が算出した前記投影面と、前記カメラ情報格納部に格納されているカメラ情報とに基づいて、前記画像を前記投影面に投影したときの位置を算出する画像投影位置算出部と、
前記画像投影位置算出部が算出した前記位置と、前記視点位置格納部で格納している視点位置情報とに基づいて合成画像を生成し、表示装置に表示させる表示画像生成部とを備えた
ことを特徴とする画像合成装置。

【請求項2】

前記投影面形状算出部は、前記距離計測装置から取得する最も距離の近い被写体までの距離に基づいて前記投影面の形状を算出することを特徴とする請求項１記載の画像合成装置。

【請求項3】

前記投影面形状算出部は、前記被写体の上下方向の距離に基づいて前記投影面の形状を算出することを特徴とする請求項２記載の画像合成装置。

【請求項4】

前記視点位置格納部は、外部から入力された視点位置を取得して視点情報として格納することを特徴とする請求項１記載の画像合成装置。

【請求項5】

乗り物に搭載され周辺状況を撮影する複数の撮影装置から画像を取得し、乗り物に搭載され決められた方向の被写体の距離を計測する距離計測装置から被写体の距離情報を取得して、パノラマ画像を生成する画像合成装置の画像合成方法において、
算出投影面形状算出部が、カメラ情報格納部に格納されているカメラ情報から画像合成時に画像重畳する領域を求め、前記画像重畳する領域と前記距離計測装置から取得する被写体の距離情報とから投影面の形状を算出するステップと、
画像投影位置算出部が、前記算出投影面形状算出部が算出した前記投影面と前記カメラ情報格納部に格納されているカメラ情報とに基づいて前記画像を前記投影面に投影したときの位置を算出するステップと、
表示画像生成部が、前記画像投影位置算出部が算出した前記位置と、視点位置格納部に格納されている視点位置情報とに基づいて合成画像を生成し、表示装置に表示させるステップとを備えた
ことを特徴とする画像合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、複数の車載カメラから得られた画像からパノラマ画像を作成する画像合成装置、および画像合成方法に関するものである。

【背景技術】

【0002】

従来から、カメラを用いて自車両周辺を撮影し、車内に設けられた表示装置に撮影画像を表示するようにした運転支援装置が知られている。さらに、例えば、特許文献１のように、運転支援装置への表示方法として、投影中心を共有し、かつ隣どうしのカメラの撮像領域の一部が重なり合うように配置された複数の車載カメラから得られた画像を、楕円筒に投影し車載パノラマ画像を作成する技術がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−８７３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のような従来技術では、投影中心を共有しかつ隣どうしのカメラの撮像領域の一部が重なり合うように配置された複数の車載カメラから得られた画像を、楕円筒に投影してパノラマ画像を作成している。
従って、例えば、ある投影面を定義し、カメラ画像をその投影面に投影することでパノラマ画像を作成する際、図１に示すように、カメラ中心を原点としたときの投影面と撮影対象となっている被写体の距離がおなじであれば、図２に示すように、画像合成結果は適切なものとなる。しかし、図３に示すように、カメラ中心を原点としたときの投影面と撮影対象となっている被写体の距離が異なっていると、図４の画像合成結果のように一部が欠けた状態になる場合や、逆に被写体が二重に投影される場合があるという課題があった。

【0005】

また、従来技術では、重畳部の画素を２つの画像の重心位置からの距離を基に調合具合を調整している。
このような手法では、任意の時間の静止画を生成したときには二重に表示されることを軽減させる効果があるが、２つの画像間を移動している被写体がある場合は、被写体が不連続に移動しているような画像となって見えてしまうという課題があった。

【0006】

この発明は、上記のような課題を解決するためになされたもので、カメラ視差の問題を軽減させ、運転者が車両の周辺環境を確認しやすいパノラマ画像を生成する画像合成装置および画像合成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

この発明に係る画像合成装置は、乗り物に搭載され周辺状況を撮影する複数の撮影装置から画像を取得し、乗り物に搭載され決められた方向の被写体の距離を計測する距離計測装置から被写体の距離情報を取得して、パノラマ画像を生成する画像合成装置において、前記撮影装置が撮影した画像を取得する画像取得部と、カメラ情報を格納しているカメラ情報格納部と、視点位置情報を格納している視点位置格納部と、前記カメラ情報格納部に格納されているカメラ情報から画像合成時に画像重畳する領域を求め、前記画像重畳する領域と前記距離計測装置から取得する被写体の距離情報とから投影面の形状を算出する投影面形状算出部と、前記投影面形状算出部が算出した前記投影面と、前記カメラ情報格納部に格納されているカメラ情報とに基づいて、前記画像を前記投影面に投影したときの位置を算出する画像投影位置算出部と、前記画像投影位置算出部が算出した前記位置と、前記視点位置格納部が格納している視点位置情報とに基づいて合成画像を生成し、表示装置に表示させる表示画像生成部とを備えたものである。

【発明の効果】

【0008】

この発明の画像合成装置によれば、パノラマ画像を作成する際に問題となる、カメラ視差の問題を軽減させ、運転者が車両の周辺環境を確認しやすくすることができる。

【図面の簡単な説明】

【0009】

【図1】従来技術において、定義する投影面と同じ位置に被写体があるときの概略図である。

【図2】従来技術において、定義する投影面と同じ位置に被写体があるとき画像合成結果の概略図である。

【図3】従来技術において、定義する投影面と同じ位置に被写体がないときの概略図である。

【図4】従来技術において、定義する投影面と同じ位置に被写体がないとき画像合成結果の概略図である。

【図5】この発明の実施の形態１に係る画像合成装置の構成図である。

【図6】この発明の実施の形態１において、乗り物に搭載されたカメラの設置例を示す説明図である。

【図7】この発明の実施の形態１に係る合成装置による合成画像生成の動作を示すフローチャートである。

【図8】距離計測装置、および投影面を定義する際の中心位置から被写体までの距離と方向を示す説明図である。

【図9】この発明の実施の形態１における投影面形状の算出についての説明図である。

【図10】図１０は、カメラの撮像素子平面との交点から各ポリゴンの頂点に対応するカメラ画像上の画素の３次元位置Ｄを求める処理を表す図である

【図11】この発明の実施の形態２に係る画像合成装置による合成画像生成の動作を示すフローチャートである。

【図12】最短距離の被写体がある方向（θ）の断面図である。

【図13】この発明の実施の形態３に係る画像合成装置の構成図である。

【図14】この発明の実施の形態３に係る画像合成装置による合成画像生成の動作を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、この発明をより詳細に説明するために、この発明を実施するための形態について添付の図面に従って説明する。
実施の形態１．
図５は、この発明の実施の形態１に係る画像合成装置１００の構成図である。
図５において、画像合成装置１００は、画像取得部１０１、カメラ情報格納部１０２、投影面形状算出部１０３、画像投影位置算出部１０４、視点位置格納部１０５、表示画像生成部１０６を備えている。
また、図５において、画像合成装置１００は、撮影装置１から画像を取得し、距離計測装置２から被写体の距離情報を取得して、パノラマ画像（合成画像）を生成する。
画像合成装置１００で生成されたパノラマ画像（合成画像）は、表示装置３に表示される。

【0011】

撮影装置１は、乗り物に複数台搭載され周辺状況を撮影する。
距離計測装置２は、乗り物に搭載され、決められた方向の被写体の距離を計測する。
図６は、この発明の実施の形態１において、乗り物に搭載されたカメラの設置例を示す説明図である。
距離計測装置（距離センサ）２は、図６に示すように複数の撮影装置（カメラ）１（１−１〜１−４）の視野が重複する方向に対する物体について距離を計測する。なお、距離計測装置２としては、超音波センサ等の距離センサが考えられるが、超音波センサに限定されるものではない。

【0012】

画像合成装置１００において、画像取得部１０１は、撮影装置１が撮影した画像を取得する。
カメラ情報格納部１０２は、カメラ設置位置やカメラの向き、カメラの焦点距離、姿勢情報などのカメラ情報を格納している。
投影面形状算出部１０３は、カメラ情報格納部１０２からカメラ設置位置情報を取得してカメラ画像合成時に画像重畳する領域を求め、該当する領域に存在する被写体の距離情報を距離計測装置２から取得し、画像重畳する領域と被写体の距離情報とから投影面の形状を算出する。

【0013】

画像投影位置算出部１０４は、投影面形状算出部１０３が算出した投影面と、カメラ情報格納部１０２が格納しているカメラ設置位置、姿勢情報などのカメラ情報とに基づいて、画像取得部１０１が取得した画像を投影面に投影したときの位置を算出する。
視点位置格納部１０５は、画像合成装置１００で生成された合成画像を表示装置３に表示する際に、運転者に認識させたい方向、位置を定義する視点位置情報を格納している。
表示画像生成部１０６は、画像投影位置算出部１０４が算出した、投影面に投影したときの画像の位置情報と、視点位置格納部１０５が格納している視点位置情報とに基づき、画像取得部１０１が撮影装置１から取得した画像を合成して合成画像を作成する。

【0014】

図７は、この発明の実施の形態１に係る合成装置１００による合成画像生成の動作を示すフローチャートである。以下、図７を参照しながら説明する。
画像を合成する準備段階の処理として、画像を合成する際に使用する撮影装置１の位置や姿勢情報やカメラの焦点距離をあらかじめカメラ情報格納部１０２に格納しておく。また、表示装置に表示する画像を作成する際に使用する視点位置についても、あらかじめ視点位置格納部１０５に格納しておくものとする。

【0015】

まず、画像取得部１０１は、撮影装置１から画像を取得する(ステップＳＴ１)。
次に、投影面形状算出部１０３は、画像重畳領域にある最も距離の近い被写体までの距離（ｄ）と方向（θ）を取得する（ステップＳＴ２）。
図８は、距離計測装置２、および投影面を定義する際の中心位置から被写体までの距離と方向を示す説明図である。ステップＳＴ２の処理について、図８に従って具体的に説明する。
投影面形状算出部１０３は、カメラ情報格納部１０２からカメラの向きを受け取り、受け取ったカメラの向きから画像重畳領域を算出し、この画像重畳領域にある被写体について、距離計測装置２から受信した距離情報に基づき、最も距離の近い被写体までの距離情報を算出する。このとき、距離計測装置２が計測した値は、距離計測装置２と被写体との距離であるため、投影面を定義する際の中心となる位置（投影面の中心）から被写体のまでの距離（Ｄ）と方向（φ）は、式（１）（２）より求められる。
図８に示すように、投影面の中心から距離センサ２の先端までの右カメラ１−３方向への距離をｘ、前カメラ１−１方向への距離をｙとすると、

【0016】

続いて、投影面形状算出部１０３は、投影面形状を算出する（ステップＳＴ３）。
図９は、この発明の実施の形態１における投影面形状の算出についての説明図である。ステップＳＴ３について、図９を参照しながら説明する。
図９において、カメラ１−１およびカメラ１−２の重畳部分にある被写体（障害物Ａ）の距離（投影面の中心から被写体（障害物Ａ）までの距離）をＲ１、カメラ１−１およびカメラ１−３の重畳部分にある被写体（障害物Ｂ）の距離（投影面の中心から被写体（障害物Ｂ）までの距離）をＲ２としたとき、距離を決めた部分にはさまれたカメラ１−１を投影する投影面については、式（３）より距離Ｒとなるようにする。

投影面の中心から見て障害物Ａから障害物Ｂまでの角度をα、障害物Ａから投影面の距離Ｒまでの角度をβとすると、

【0017】

また、各撮影画像が投影されるときに両端が、重畳領域として半径が決まる場合は、上記のように位置が決まるが、作成するパノラマ画像が、全周でないときは、重畳領域がない場合がある。その際は、片方の重畳領域の半径を採用すればよい。また、重畳領域に被写体となるものが何もない場合は、重畳領域の中央の方向においてカメラ視差の影響をすくなくするために十分な距離を半径として設定すればよい。

【0018】

次に、画像投影位置算出部１０４は、ステップＳＴ３で算出した投影面に投影する画像の位置情報を算出する（ステップＳＴ４）。具体的には、投影面をポリゴンとして領域を分割し、各ポリゴンの頂点に対応する画像上の画素位置を求める。投影面をポリゴンとして分割するときの一例としては、投影面の中心からの向き（γ），高さ（ｚ）、および式（３）よりもとめた投影面の中心からの距離Ｒに基づくと、ポリゴンの３次元位置は、（Rcosγ, Rsinγ, z）となる。

【0019】

そして、各ポリゴン頂点の３次元位置とカメラ中心を結んだ直線と、カメラの撮像素子平面との交点から各ポリゴンの頂点に対応するカメラ画像上の画素の３次元位置D=(dist_x, dist_y, dist_z) ^Tを求める。
図１０は、カメラの撮像素子平面との交点から各ポリゴンの頂点に対応するカメラ画像上の画素の３次元位置Ｄを求める処理を表す図である。以下、図１０を参照しながら説明する。
このとき、各ポリゴン頂点P=(P_x, P_y, P_z)^Tの３次元位置とカメラ中心C=(C_x, C_y, C_z) ^Tを結んだ直線上の点Qについては式（４）によって表され、カメラの撮像素子平面上の点Q'については式（５）によって表される。

【0020】

なお、式（４）は、媒介変数ｔを用いて、ポリゴン頂点とカメラ中心直線を結ぶ直線を表した式であり、
ｔ＝（カメラ画像上の画素位置−カメラ中心間の距離）／（ポリゴン頂点−カメラ中心間の距離）
である。
また、式（５）は、撮像素子上の面を、ｕ（撮像素子のｘ軸方向の向きと撮像素子の大きさを表すベクトル），ｖ（撮像素子のｙ軸方向の向きと撮像素子の大きさを表すベクトル）と媒介変数ａ，ｂを用いて表した式である。

【0021】

ここで、uは撮像素子のx軸方向の向きと撮像素子の大きさを表すベクトル、vは撮像素子上のy軸方向の向きと撮像素子の大きさを表すベクトルであり、Ｉは撮像素子の中心座標を表している。これらは、カメラ情報格納部１０２より受け取るカメラの焦点距離、カメラの姿勢情報から求めることができる。
Dは式（４）で表される直線上、式（５）で表される平面上に存在するため、式（４）（５）を式（６）にまとめることができ、未知数ａ，ｂ，ｔを求めることにより、最終的にDを求めることができる。

【0022】

ここで求まった３次元位置Dをカメラ画像上の画素位置(image_x, image_y)に変換させるには式（７），（８）を用いる。ここでcamera_px_widthは撮像素子のx軸方向の画素数、camera_px_heightは撮像素子のy軸方向の画素数を表す。

【0023】

次に、表示画像生成部１０６は、視点位置格納部１０５の視点位置情報に基づき、画像取得部１０１が取得した画像を視点位置から見たときの合成画像を作成する（ステップＳＴ５）。視点位置からの合成画像を作成する際には、３Ｄグラフィックスの透視図法を利用して、任意の視点位置からの合成画像を作成する。
次に、表示画像生成部１０６は、ステップＳＴ５で作成した合成画像を表示装置３に転送し表示させる（ステップＳＴ６）。
そして、このステップＳＴ１〜ステップＳＴ６を繰り返すことで周辺画像を表示する。

【0024】

このように、合成する投影面の位置を被写体の位置にあわせて変更していくことにより、被写体とカメラ位置が変化していく状況でも、被写体の一部が欠けることや２重に投影されることなく、適切な画像となり、カメラ視差の問題を軽減したパノラマ画像生成が可能となる。

【0025】

なお、この実施の形態１では、カメラ３台を使用した構成で説明したが、３台以上の場合の構成において重複する方向に距離計測装置を設置し、取得した距離情報に応じて投影面の形状を変形して画像合成を行っても良い。

【0026】

以上のように、実施の形態１に係る画像合成装置１００によれば、パノラマ画像を作成する際に問題となる、カメラ視差の問題を軽減させた画像の作成が可能となる。

【0027】

実施の形態２．
実施の形態１では、距離計測装置２を使用して、複数の撮影画像が重畳する領域の被写体について距離を求め、投影面の形状を決めた。次に、被写体のある方向に対し、上下方向（鉛直方向）に被写体が有る場合について、その被写体までの距離を求める実施形態を示す。
この実施の形態２に係る画像合成装置１００の構成については、実施の形態１と同様であるためここでの説明は省略する。
図１１は、この発明の実施の形態２に係る画像合成装置１００による合成画像生成の動作を示すフローチャートである。以下、図１１を参照しながら説明する。
ステップＳＴ１１〜ステップＳＴ１２，ステップＳＴ１４〜ＳＴ１６については、図７に示すステップＳＴ１〜ＳＴ２，ステップＳＴ４〜ＳＴ６と同様であるため、ここでの説明は省略し、実施の形態１と異なるステップ（ステップＳＴ１３，ステップＳＴ１４）についてのみ説明する。

【0028】

ステップＳＴ１３において、投影面形状算出部１０３は、ステップＳＴ１２で得た、画像重畳領域にある最も距離の近い被写体の方向(θ)について、その上下方向にある被写体までの距離ｄｉ（ｉ：鉛直軸方向の座標）を計算する。そして、鉛直軸方向の座標がｉの位置について、投影面を定義する際の中心となる位置から被写体のまでの距離をＤ_iとする。
図１２は、最短距離の被写体がある方向（θ）の断面図である。ｄｉについて、図１２を用いて説明する。
まず、距離計測装置（距離センサ）２から、仰角（μ）に対する距離ｌを取得する。次に、これらの値により、ｄｉを、ｄｉ＝ｌｉ＊ｃｏｓμｉから計算する。
また、鉛直方向の位置ｉについては、ｉ＝ｌｉ＊ｓｉｎμｉから計算する。

【0029】

次に、投影面形状算出部１０３は、投影面形状を算出する（ステップＳＴ１４）。投影面の形状は、鉛直軸方向の座標がｉの位置について、カメラ１−１およびカメラ１−２の重畳部分にある被写体の距離をＲ１_i、カメラ１−１およびカメラ１−３の重畳部分にある被写体の距離をＲ２_iとしたとき、距離を決めた部分にはさまれたカメラ１−１を投影する投影面については、式（９）より距離Ｒ_iとなるようにする。

【0030】

以上のように、実施の形態２に係る画像合成装置１００によれば、実施の形態１で画像を重畳する領域で最も近い被写体に合わせて投影面を作り画像を合成していたのに対し、最も近い被写体のある方向に対して被写体の上下方向の投影面についても調整を行うため、視差の問題をさらに軽減させた画像の作成が可能となる。

【0031】

実施の形態３．
実施の形態１および実施の形態２の画像合成装置１００では、最終的に作成される合成画像はあらかじめ決められた視点位置の画像が表示されていた。この実施の形態３では、視点位置変更手段を加えて、操作者が見たい方向からの画像を表示する実施形態を示す。
図１３は、この発明の実施の形態３に係る画像合成装置１００の構成図である。
この実施の形態３に係る画像合成装置１００の構成については、実施の形態１および実施の形態２と同様であるためここでの説明は省略する。
図１３において、画像合成装置１００は、撮影装置１から画像を取得し、距離計測装置２から被写体の距離情報を取得する他、視点位置入力装置４から入力された視点位置を取得してパノラマ画像（合成画像）を生成する点が実施の形態１，２とは異なる。視点位置入力装置４は、操作者が視点位置を入力することで表示装置に表示される合成画像の方向を操作できるようにするものである。

【0032】

図１４は、この発明の実施の形態３に係る画像合成装置１００による合成画像生成の動作を示すフローチャートである。以下、図１４を参照しながら説明する。
ステップＳＴ２１〜ステップＳＴ２４，ステップＳＴ２８については、図７に示すステップＳＴ１〜ＳＴ４，ステップＳＴ６と同様であるため、ここでの説明は省略し、実施の形態１と異なるステップ（ステップＳＴ２５〜ＳＴ２７）についてのみ説明する。

【0033】

ステップＳＴ２５において、視点位置格納部１０５は、視点位置入力装置４から、視点位置の入力があったかどうかを調べる。
視点位置入力装置４から、視点位置の入力があった場合（ステップＳＴ２５の“Ｙｅｓ”の場合）、視点位置格納部１０５は、記憶している視点位置情報を、入力された視点位置に更新し（ステップＳＴ２６）、表示画像生成部１０６は、ステップＳＴ２６で更新された視点位置から見たときの合成画像を作成する（ステップＳＴ２７）。
一方、視点位置入力装置４から、視点位置の入力がない場合（ステップＳＴ２５の“Ｎｏ”の場合）、ステップＳＴ２６の処理はとばされ、表示画像生成部１０６は、視点位置格納部１０５に予め記憶されている視点位置から見たときの合成画像を作成する（ステップＳＴ２７）。

【0034】

以上のように、実施の形態３の画像合成装置によれば、視点位置変更手段を加えたため、実施の形態１，２と同様の効果に加え、操作者が見たい方向の画像を表示させることができる。

【0035】

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

【符号の説明】

【0036】

１ 撮影装置、２ 距離計測装置、３ 表示装置、４ 視点位置入力装置、１００ 画像合成装置、１０１ 画像取得部、１０２ カメラ情報格納部、１０３ 投影面形状算出部、１０４ 画像投影位置算出部、１０５ 視点位置格納部、１０６ 表示画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】