【課題】第1カメラの死角が第2カメラの撮影結果によって補われるように、各カメラの撮影結果に基づく合成画像における各画像の境界の連続性の保持に関する新たな方法を提案する「画像処理装置および画像処理方法」を提供する。
【解決手段】画像処理装置1は、リアカメラ3のリアカメラ撮影画像を画像変換して補完画像を生成し、サイドカメラ4R,4Lの撮影画像における死角領域に補完画像を合成して合成画像を生成する画像処理部12と、合成画像を表示する表示制御部13とを備えており、画像処理部12は、視点変換に用いる起立投影面の距離が、注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、このテーブルを用いて補完画像を生成することにより、取り得る値ごとにルックアップテーブルを記憶しておく場合と比較してデータ量を低減できるようにする。
自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第1カメラの第1撮影画像と、前記第1カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第2カメラの第2撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記第2撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第1撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第1撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記合成画像において前記補完画像と前記第1撮影画像との境界に画像が位置する注目対象物までの距離である対象物距離を検出する距離検出部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部とを備え、
前記画像処理部は、
路面に沿った路面投影面に対して起立する起立投影面について特定の距離の前記起立投影面を用いた視点変換を行うための特定ルックアップテーブルを加工して、視点変換に用いる前記起立投影面の距離が、前記距離検出部により検出された前記注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、前記加工ルックアップテーブルを用いて前記第2撮影画像を前記補完画像に変換する
ことを特徴とする画像処理装置。
前記ルックアップテーブル記憶部に記憶された複数の前記特定ルックアップテーブルの前記起立投影面の距離の間隔は、前記起立投影面の距離が大きいほど大きくなっていることを特徴とする請求項2または3に記載の画像処理装置。
自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第1カメラの第1撮影画像と、前記第1カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第2カメラの第2撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記第2撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第1撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第1撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部と、
前記合成画像において前記補完画像と前記第1撮影画像との境界に画像が位置する注目対象物までの距離である対象物距離を検出する距離検出部と、
前記注目対象物の前記第2カメラに対向する面の形状を検出する面形状検出部とを備え、
前記画像処理部は、
前記距離検出部により検出された前記注目対象物までの距離を反映した距離の投影面であって、前記面形状検出部により検出された前記注目対象物の前記第2カメラに対向する面の形状に対応する形状の前記投影面を用いて、前記第2撮影画像を前記補完画像に変換する
ことを特徴とする画像処理装置。
画像処理装置の撮影画像取得部が、自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第1カメラの第1撮影画像と、前記第1カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第2カメラの第2撮影画像とを取得する第1のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記第2撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第1撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第1撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第2のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第3のステップとを含み、
前記第2のステップにおいて、前記画像処理部は、路面に沿った路面投影面に対して起立する起立投影面について特定の距離の前記起立投影面を用いた視点変換を行うための特定ルックアップテーブルを加工して、視点変換に用いる前記起立投影面の距離が、前記画像処理装置の距離検出部により検出された前記注目対象物までの距離を反映した距離となる加工ルックアップテーブルを生成し、前記加工ルックアップテーブルを用いて前記第2撮影画像を前記補完画像に変換する
ことを特徴とする画像処理方法。
画像処理装置の撮影画像取得部が、自車両に搭載され、撮影範囲に前記自車両の車体の一部が含まれた状態で撮影を行う第1カメラの第1撮影画像と、前記第1カメラの撮影範囲のうち前記車体により死角となる死角範囲を少なくとも撮影可能な第2カメラの第2撮影画像とを取得する第1のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記第2撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記第1撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記第1撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第2のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第3のステップとを含み、
前記画像処理部は、
前記画像処理装置の距離検出部により検出された前記注目対象物までの距離を反映した距離の投影面であって、前記画像処理装置の面形状検出部により検出された前記注目対象物の前記第2カメラに対向する面の形状に対応する形状の前記投影面を用いて、前記第2撮影画像を前記補完画像に変換する
ことを特徴とする画像処理方法。
【発明を実施するための形態】
【0013】
<第1実施形態>
以下、本発明の第1実施形態を図面に基づいて説明する。
図1は、本実施形態に係る画像処理装置1の機能構成例を示すブロック図である。画像処理装置1は、運転手が車両の右サイドミラーMRまたは左サイドミラーMLを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。
【0014】
図1に示すように、画像処理装置1には、右モニター2R、左モニター2L、リアカメラ3、右サイドカメラ4Rおよび左サイドカメラ4Lが接続されている。以下、画像処理装置1が搭載された車両を「自車両」という。
【0015】
右モニター2Rは、自車両のダッシュボードの右端部(車内において右サイドミラーMRに近い位置)に設けられた表示パネル(例えば、液晶表示パネルや、有機EL表示パネル等)である。左モニター2Lは、自車両のダッシュボードの左端部(車内において左サイドミラーMLに近い位置)に設けられた表示パネルである。右モニター2Rおよび左モニター2Lは、特許請求の範囲の「表示装置」に相当する。
【0016】
リアカメラ3は、自車両の後部に設けられた撮影装置である。右サイドカメラ4Rは、自車両の前部座席の右サイドドアの右サイドミラーMRに設けられた撮影装置である。左サイドカメラ4Lは、自車両の前部座席の左サイドドアの左サイドミラーMLに設けられた撮影装置である。
【0017】
図2は、リアカメラ3および右サイドカメラ4Rの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ4Rと左サイドカメラ4Lとを区別しない場合は「サイドカメラ4R,4L」と表現し、右サイドカメラ4Rの撮影画像と左サイドカメラ4Lの撮影画像とを区別しない場合は「サイドカメラ撮影画像」と表現する。
【0018】
図2に示すように、リアカメラ3は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向(光軸の方向)として撮影を実行する。
図2において、符号HBは、リアカメラ3の撮影範囲を模式的に示している。以下、リアカメラ3の撮影範囲を「リアカメラ撮影範囲HB」という。リアカメラ3は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ3は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ3が生成し、出力する撮影画像を「リアカメラ撮影画像」という。リアカメラ3は、特許請求の範囲の「第2カメラ」に相当し、リアカメラ撮影画像は、特許請求の範囲の「第2撮影画像」に相当する。
【0019】
図3(A)は、リアカメラ撮影画像の一例を示している。なお、
図3(A)は、後述する第2実施形態の説明にも利用する。
図3(A)のリアカメラ撮影画像には、1台分の車両が通行可能な道路上で後続する後続車両の画像KZbが記録されている。また、リアカメラ撮影画像には、水平線を表す画像SHbが記録されている。
【0020】
図2に示すように、右サイドカメラ4Rは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向(光軸の方向)として撮影を実行する。
図2において、符号HRは、右サイドカメラ4Rの撮影範囲を模式的に示している。右サイドカメラ4Rは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲HBの水平画角よりも小さい。以下、右サイドカメラ4Rの撮影範囲を「右サイドカメラ撮影範囲HR」という。
【0021】
図2に示すように、右サイドカメラ4Rの撮影範囲には、車両の車体に遮蔽された死角範囲DHが形成される。死角範囲DHについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ3のリアカメラ撮影範囲HBには、死角範囲DHが含まれている。つまり、リアカメラ3は、死角範囲DHの風景を撮影可能である。右サイドカメラ4Rは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ4Rが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。
【0022】
図3(B)は、
図3(A)のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ4Rが生成する右サイドカメラ撮影画像の一例を示す図である。
図3(B)に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像JSrが記録された死角領域DRが形成されている。死角領域DRは、右サイドカメラ4Rの右サイドカメラ撮影範囲HRの死角範囲DH(
図2参照)に対応する領域である。右サイドカメラ4Rは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域DRの態様(位置、形状)は一定である。
【0023】
図3(B)で例示する右サイドカメラ撮影画像には、後続車両の画像KZrが記録されている。後続車両の画像KZrは、その一部が自車両の車体の画像JSrに覆われた状態である。また、右サイドカメラ撮影画像には、水平線を表す画像SHrが記録されている。
【0024】
左サイドカメラ4Lは、右サイドカメラ4Rと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーMLに、右サイドカメラ4Rと同様の態様で設置されている。左サイドカメラ4Lは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ4Lが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。
【0025】
右サイドカメラ4Rおよび左サイドカメラ4Lは、特許請求の範囲の「第1カメラ」に相当し、右サイドカメラ撮影画像および左サイドカメラ撮影画像は、特許請求の範囲の「第1撮影画像」に相当する。
【0026】
図1に示すように、画像処理装置1は、機能構成として、撮影画像取得部10、距離検出部11、画像処理部12および表示制御部13を備えている。上記各機能ブロック10〜13は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック10〜13は、実際にはコンピュータのCPU、RAM、ROM等を備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。また、
図1に示すように、画像処理装置1は、記憶手段として、ルックアップテーブル記憶部14を備えている。ルックアップテーブル記憶部14は、後述するように、各種ルックアップテーブルを記憶している。
【0027】
撮影画像取得部10は、リアカメラ3からリアカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部10は、右サイドカメラ4Rから右サイドカメラ撮影画像を所定の周期で入力し、取得する。また、撮影画像取得部10は、左サイドカメラ4Lから左サイドカメラ撮影画像を所定の周期で入力し、取得する。撮影画像取得部10は、所定の周期で取得するリアカメラ撮影画像を距離検出部11に出力する。また、撮影画像取得部10は、所定の周期で取得するリアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を画像処理部12に出力する。
【0028】
距離検出部11は、撮影画像取得部10から所定の周期でリアカメラ撮影画像を入力する。距離検出部11は、リアカメラ撮影画像を入力する度に、合成画像において補完画像とサイドカメラ撮影画像との境界に画像が位置する注目対象物までの距離(以下、「対象物距離」という)を検出する。以下、距離検出部11が対象物距離を検出するときの処理について詳述する。
【0029】
後述するように、合成画像は、サイドカメラ撮影画像の一部に対してリアカメラ撮影画像の一部に基づき生成される補完画像が重畳されることによって生成される。そして、リアカメラ撮影画像の特定領域MM(
図3参照)に一の対象物の画像が記録されている場合、そのリアカメラ撮影画像の一部に基づく補完画像を利用して生成される合成画像の境界に、当該一の対象物の画像が位置することになる。特定領域MMの態様は、事前のシミュレーションや、テストに基づいて適切に設定される。
図3の例の場合、後続車両の画像KZbは、特定領域MM内に位置しているため、合成画像が生成されたときに、その合成画像における補完画像とサイドカメラ撮影画像との境界に、後続車両の画像が位置することになる。特定領域MMに画像が位置している対象物は注目対象物の候補となる。
【0030】
距離検出部11は、リアカメラ撮影画像の特定領域MMに画像が含まれる注目対象物について、対象物距離を検出する。本実施形態では、距離検出部11は、「注目対象物のリアカメラ3に向かう最前部(最もリアカメラ3側)」のリアカメラ3の光学原点からの距離を対象物距離として検出する。従って、注目対象物が自車両に後続する後続車両の場合、距離検出部11は、後に使用する
図4に示すように、基本的にはリアカメラ3の光学原点から後続車両のバンパーを含む最前部の面までの距離を対象物距離として検出する。
【0031】
距離検出部11は、特定領域MMに複数の対象物の画像が含まれる場合、距離を検出する対象とする1つの注目対象物を所定の方法で特定し、特定した注目対象物までの距離を対象物距離として検出する。所定の方法は、例えば、自車両に最も近い対象物を対象とする方法であり、また、特定領域MMにおいて最も大きな面積を占める画像の対象物を対象とする方法である。また、静止している対象物よりも、移動している対象物を優先して注目対象物としてもよい。特定領域MMに複数の対象物の画像が含まれる場合、距離検出部11により距離が検出される対象となる対象物が「注目対象物」に相当する。
【0032】
距離検出部11は、所定の周期で入力するリアカメラ撮影画像に基づいて、単眼カメラの撮影画像を利用した既存の測距技術を利用して、注目対象物についての対象物距離を検出する。なお、距離検出部11は、距離の検出に必要な情報(例えば、自車両の移動に関する情報を用いて距離を検出する場合には、その情報)を不足なく適切に取得する。なお、距離検出部11が注目対象物までの距離を測距する方法は、本実施形態で例示する方法に限らず、どのような方法であってもよい。例えば、リアカメラ撮影画像と共にサイドカメラ撮影画像を分析して距離を検出してもよく、自車両に設けられたステレオカメラの撮影結果を利用して距離を検出してもよく、測距用のレーダー(レーザーレーダーや、ミリ波レーダー等)等を用いて距離を検出してもよい。
【0033】
なお、注目対象物が存在しない場合もある。この場合、画像処理部12により後述する加工ルックアップテーブルの生成は行われず、補完画像の生成は、このような場合に使用することが予め定められているルックアップテーブル(後述する起立投影面までの距離が所定値のルックアップテーブル)を用いて行われる。以下では、注目対象物が存在し、距離検出部11により注目対象物までの対象物距離が検出されたものとして、画像処理装置1の処理を説明する。
【0034】
ルックアップテーブル記憶部14は、異なる複数の起立投影面の距離に対応する複数の特定ルックアップテーブルを記憶する。より詳細には、ルックアップテーブル記憶部14は、右側合成画像(後述)の生成に用いられる複数の右側特定ルックアップテーブル(特定ルックアップテーブル)と、左側合成画像(後述)の生成に用いられる複数の左側特定ルックアップテーブル(特定ルックアップテーブル)とを記憶する。
【0035】
右側特定ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲DHを仮想的に撮影することによって生成される撮影画像(=補完画像)」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ4と同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ4の視点に視点変換する際に概念的に用いられる。
【0036】
右側特定ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域DRの態様(位置、形状)は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置は事前に特定されている。
【0037】
右側特定ルックアップテーブルの対応関係情報は、リアカメラ3の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ3および右側仮想カメラの配置位置および配置角度、リアカメラ3の仕様(投影方法や、画角、ディストーション(レンズの歪み)、解像度等)、右側仮想カメラの仕様、その他の要素を反映して事前に適切に設定されている。
【0038】
特に、本実施形態では、右側特定ルックアップテーブルのそれぞれは、リアカメラ3の視点から右側仮想カメラの視点への視点変換に用いられる起立投影面の距離が異なっている。
図4は、起立投影面を説明するため、自車両と、注目対象物としての後続車両とを横から見た様子を模式的に示す図である。
図4に示すように、本実施形態では、起立投影面は、路面に対応して水平に拡がる路面投影面に対して垂直に立ち上がった垂直面のことを意味する。視点変換に際しては、起立投影面と路面投影面とにより投影面が構成され、この投影面が視点変換に用いられる。
図4に示すように、本実施形態では、起立投影面の距離は、リアカメラ3の光学原点から起立投影面までの距離を意味する。
【0039】
図5は、右側特定ルックアップテーブルのそれぞれについて、視点変換に用いられる起立投影面の距離を示す表である。
図5の表に示すように、右側特定ルックアップテーブルの起立投影面の距離は、「0.5メートル」、「1メートル」、「2メートル」、「3メートル」、「4メートル」、「5メートル」、「7メートル」、「10メートル」、「20メートル」、「30メートル」である。
【0040】
なお、左側特定ルックアップテーブルのそれぞれの内容は、右側特定ルックアップテーブルのそれぞれの内容と同様である。
【0041】
画像処理部12は、撮影画像取得部10により取得されたリアカメラ撮影画像の一部を画像変換することによって、撮影画像取得部10により取得されたサイドカメラ撮影画像における死角範囲DHに対応する死角領域DRを補完する補完画像を生成し、死角領域DRに補完画像を合成して合成画像を生成する。そして、補完画像の生成に際し、画像処理部12は、上述した特定ルックアップテーブルを加工して、その起立投影面の距離が、距離検出部11により検出された注目対象物までの距離を反映した距離となる加工して加工ルックアップテーブルを生成し、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像の一部を補完画像に変換する。
【0042】
以下、画像処理部12の処理について、右サイドカメラ4Rの右サイドカメラ撮影画像、および、リアカメラ3のリアカメラ撮影画像に基づいて、右側合成画像(合成画像)を生成する場合を例にして詳述する。なお、画像処理部14は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像(合成画像)を生成する。
【0043】
画像処理部12は、撮影画像取得部10からリアカメラ撮影画像および右サイドカメラ撮影画像を所定の周期で入力し、入力したこれらの撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理とは、合成画像(本例の場合は、右側合成画像)を生成する処理である。画像処理部12は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、生成した右側合成画像を表示制御部13に出力する。以下、合成画像生成処理について詳述する。なお、以下では、右側合成画像を生成する合成画像生成処理について説明するが、実際には、この処理と同期して左側合成画像を生成する合成画像生成処理が実行される。
【0044】
合成画像生成処理において、まず、画像処理部12は、合成画像生成処理を実行するタイミングにおいて距離検出部11により検出された対象物距離を認識する。次いで、画像処理部12は、右側特定ルックアップテーブルのうち、起立投影面の距離が、対象物距離よりも小さく、対象物距離に最も近い距離である右側特定ルックアップテーブルを特定する。例えば、対象物距離が「2.1メートル」の場合、画像処理部12は、起立投影面の距離が「2メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「小側ルックアップテーブル」(特許請求の範囲の「小さい側の特定ルックアップテーブル」に相当)という。
【0045】
次いで、画像処理部12は、右側特定ルックアップテーブルのうち、起立投影面の距離が、対象物距離よりも大きく、対象物距離に最も近い距離である右側ルックアップテーブルを特定する。例えば、対象物距離が「2.1メートル」の場合、画像処理部12は、起立投影面の距離が「3メートル」の右側ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「大側ルックアップテーブル」(特許請求の範囲の「大きい側の特定ルックアップテーブル」に相当)という。
【0046】
次いで、画像処理部12は、小側ルックアップテーブルおよび大側ルックアップテーブルを、起立投影面の距離と対象物距離とが近ければ近いほど、最終的に生成される加工ルックアップテーブルに対する反映度が大きくなるように加工して、加工ルックアップテーブルを生成する。より具体的には、画像処理部12は、小側ルックアップテーブルに係る起立投影面の距離および対象物距離の差と、大側ルックアップテーブルに係る起立投影面の距離および対象物距離の差との比が、大側ルックアップテーブルの加工ルックアップテーブルに対する反映度と、小側ルックアップテーブルの加工ルックアップテーブルに対する反映度との比となるように各テーブルを加工して加工ルックアップテーブルを生成する。以下、加工ルックアップテーブルの生成について詳述する。
【0047】
加工ルックアップテーブルの生成に際し、まず、画像処理部12は、小側ルックアップテーブルに係る起立投影面の距離および対象物距離の差S1(絶対値)と、大側ルックアップテーブルに係る起立投影面の距離および対象物距離の差S2(絶対値)との比を算出する。対象物距離が「2.1メートル」の場合、「差S1:差S2」は、[「2.1メートル」−「2メートル」]:[「3メートル」−「2.1メートル」]であり、「1:9」となる。
【0048】
「差S1:差S2」を算出した後、画像処理部12は、「差S1:差S2」を利用して、右側仮想カメラの死角領域DRを構成する全てのドットについて、リアカメラ撮影画像の対応するドットを特定する。以下、右側仮想カメラのある特定のドット(「特定ドットDX」とする)について、リアカメラ撮影画像の対応するドット(「対応ドットDQ」とする)を特定する処理について
図6を用いて詳述する。
図6(A)は、第1画像座標系に展開したリアカメラ撮影画像を模式的に示している。
図6(B)は、第2仮想座標系に展開した右側仮想カメラの仮想的な撮影画像を模式的に示している。
【0049】
図6(A)において、符号DYのドット(「小側ドットDY」とする)は、小側ルックアップテーブルにおいて、特定ドットDXと対応付けられているドットである。また、
図6(A)において、符号DZのドット(「大側ドットDZ」とする)は、大側ルックアップテーブルにおいて、特定ドットDXと対応付けられているドットである。以上の状況の下、画像処理部12は、第1画像座標系において、小側ドットDYと大側ドットDZを結ぶ線分において、以下の式SK1を満たすドットを対応ドットDQとする。
[式SK1] 小側ドットDYからの距離:大側ドットDZからの距離=差S1:差S2
このようにして特定される対応ドットDQは、「小側ルックアップテーブルの反映度:大側ルックアップテーブルの反映度」=「差S2:差S1」となる。
【0050】
画像処理部12は、以上の方法で、右側仮想カメラの死角領域DRを構成する全てのドットについてリアカメラ撮影画像の対応するドットを特定した後、右側仮想カメラの死角領域DRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する加工ルックアップテーブルを生成する。以上のようにして生成された加工ルックアップテーブルは、視点変換に使用する起立投影面の距離が、対象物距離に相当する距離となったルックアップテーブルである。
【0051】
以上、加工ルックアップテーブルを生成する方法について説明したが、加工ルックアップテーブルを生成する方法は例示した方法に限らず、起立投影面の距離が、対象物距離を反映した距離となるような方法で生成されればよい。例えば、
図4に示すように、対象物距離が「γメートル」であり、小側ルックアップテーブルの起立投影面の距離が「αメートル」、大側ルックアップテーブルの起立投影面の距離が「βメートル」であるとすると、概念的に下記の式SK2が満たされるような方法で加工ルックアップテーブルが生成されればよい。
[式SK2] 加工ルックアップテーブル=小側ルックアップテーブル×(β−γ)/(β−α)+大側ルックアップテーブル×(γ−α)/(β−α)
【0052】
なお、対象物距離が0.5メートル以下の場合は、起立投影面の距離が「0.5メートル」の右側特定ルックアップテーブルが「加工ルックアップテーブル」となり、対象物距離が「30メートル」以上の場合は、起立投影面の距離が「30メートル」の右側特定ルックアップテーブルが「加工ルックアップテーブル」となる。
【0053】
さて、加工ルックアップテーブルを生成した後、画像処理部12は、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像の一部を補完画像に変換する。この補完画像は、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する各ドットの画素値が、加工ルックアップテーブルに基づいて、リアカメラ撮影画像の対応する各ドットの画素値によって置き換えられた画像である。画像処理部12は、右サイドカメラ撮影画像の死角領域DRに、生成した補完画像を合成(重畳)することによって右側合成画像を生成する。
【0054】
図7は、
図3(A)のリアカメラ撮影画像および
図3(B)の右サイドカメラ撮影画像に基づく合成画像生成処理により生成される右側合成画像を示している。
図7では、右サイドカメラ撮影画像と、補完画像との境界に破線を引いているが、実際にはこの破線は記録されない。
図7に示すように、右側合成画像では、右サイドカメラ撮影画像の死角領域DRが、リアカメラ撮影画像に基づく補完画像によって補われた状態となる。
【0055】
以上の処理が右側合成画像を生成する合成画像処理である。画像処理部12は、合成画像生成処理で生成した右側合成画像を表示制御部13に出力する。この結果、所定の周期で合成画像生成処理が実行され、所定の周期で右側合成画像が表示制御部13に出力される。詳細は省略するが、画像処理部12は、左側合成画像に係る合成画像生成処理を所定の周期で行い、左側合成画像を所定の周期で表示制御部13に出力する。
【0056】
表示制御部13は、所定の周期で画像処理部12から合成画像(右側合成画像および左側合成画像)を入力し、右側合成画像を右モニター2Rに表示し、左側合成画像を左モニター2Lに表示する。この結果、右モニター2Rには、リアカメラ3および右サイドカメラ4Rの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーMRを視認したときに確認できる風景と同等の風景が、右サイドミラーMRを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター2Lについても同様である。
【0057】
次に、上述した方法で合成画像生成処理が行われることの意義、効果について説明する。以下の説明では、合成画像における右サイドカメラ撮影画像と補完画像との境界を単に「境界」という。
【0058】
ここで、リアカメラ撮影画像に対して特定の距離の起立投影面を用いた視点変換を行って補完画像を生成した場合において、起立投影面のまでの距離と注目対象物までの距離とが一致している場合、合成画像の境界において注目対象物の画像の連続性が保たれる。連続性が保たれるとは、注目対象物の画像について、境界で区切られた一方の領域と他方の領域とで対象物の大きさが大きく異なったり、対象物の同じ部分の画像が両方の領域に重複して記録されたり、対象物の一部の画像がどちらの領域にも記録されなかったりすることなく、一方の領域に表示された画像と、他方の領域に記録された画像とが整合をもって連続することを意味する。ただし、境界において注目対象物の画像の連続性が保たれている状態には、境界を跨いで画像が一貫性をもって完璧に接続されている状態だけではなく、ユーザーが視認したときに強い違和感を覚えない程度に注目対象物の画像が境界を跨いである程度整合的に連続している状態を含む。
【0059】
一方、リアカメラ撮影画像に対して特定の距離の起立投影面を用いた視点変換を行って補完画像を生成した場合において、注目対象物が当該特定の距離の起立投影面から外れている場合(=対象物距離と、起立投影面との距離が異なる場合)については、境界において注目対象物の画像の連続性が保たれない。
【0060】
そして、本実施形態によれば、合成画像に合成される補完画像は、対象物距離に相当する距離の起立投影面を用いて視点変換を行う加工ルックアップテーブルに基づいて生成されるため、合成画像の境界において、注目対象物の画像の連続性をできるだけ保つことができる(
図7参照)。
【0061】
ただし、注目対象物についての対象物距離は、その注目対象物のリアカメラ3に対向する側の面の最前部までの距離である。そのため、注目対象物のリアカメラ3に対向する面のうち、最前部までの距離(=対象物距離)は起立投影面の距離と一致する一方、最前部以外の部分までの距離は起立投影面の距離と一致しない。従って、最前部以外の部分については、最前部と比較して、境界における画像の連続性が劣ることになる。例えば、
図7に示すように、注目対象物が後続車両である場合において、後続車両のバンパー部分の画像は連続性が保たれる一方、バンパー部分よりも後方に位置するフロントガラス部分の画像については、連続性が劣化した状態となる。
【0062】
更に、本実施形態では、ルックアップテーブル記憶部14には、視点変換に使用する起立投影面までの距離が異なる10個の特定ルックアップテーブルが記憶されている。そして、補完画像を生成する際に、都度、小側ルックアップテーブルおよび大側ルックアップテーブルに基づいて加工ルックアップテーブルが生成され、加工ルックアップテーブルにより補完画像が生成される。この構成のため、起立投影面の距離が取り得る値ごとにルックアップテーブルを記憶しておく必要がなく、このようにする場合と比較して、記憶すべきデータのデータ量を低減することができる。
【0063】
更に、本実施形態では、ルックアップテーブル記憶部14には、「0.5、1、2、3、4、5、7、10、20、30メートル」の起立投影面に係る10個の特定ルックアップテーブルが記憶されている。このように、ルックアップテーブル記憶部14に記憶された複数の特定ルックアップテーブルの起立投影面の距離の間隔は、「0.5→1→2→3→10メートル」と、起立投影面の距離が大きいほど大きくなっている。これにより以下の効果を奏する。
【0064】
すなわち、起立投影面の距離が小さければ小さいほど、起立投影面の距離を一単位だけ大きくしたときに生成される補完画像における注目対象物の画像の内容の変化が大きい。補完画像における注目対象物の画像の内容の変化とは、補完画像における注目対象物の画像の大きさの変化や、位置の変化を総合的に勘案した変化の度合いを概念的に示すものである。例えば、「0.5メートル」の起立投影面を用いて生成される補完画像における注目対象物の画像の内容と、「1メートル」の起立投影面を用いて生成される補完画像における注目対象物の画像の内容との変化の度合いは、起立投影面の距離を「20メートル」から「20.5メートル」へと変化させたときの補完画像における注目対象物の画像の内容の変化の度合いと比較して大きい。
【0065】
これを踏まえ、起立投影面の距離が大きくなるほど起立投影面の距離の間隔を大きくすることにより、換言すれば、起立投影面の距離が小さくなるほど起立投影面の距離の間隔を小さくすることにより、起立投影面の距離の変化に対する注目対象物の画像の変化の度合いが大きい状態のときほど、対象物距離により近い距離の起立投影面の特定ルックアップテーブルを用いて加工ルックアップテーブルを生成することができ、高い精度の加工ルックアップテーブルを効果的に生成することができる。
【0066】
次に、本実施形態に係る画像処理装置1の動作例についてフローチャートを用いて説明する。
図8のフローチャートFAは、画像処理部12が、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて合成画像生成処理を生成し、右側合成画像を生成するときの処理の詳細を示すフローチャートである。上述したように、画像処理装置1の画像処理部12は、所定の周期で合成画像生成処理を実行する。
【0067】
図8に示すように、合成画像生成処理において、画像処理部12は、距離検出部11により検出された対象物距離を認識する(ステップSA1)。次いで、画像処理部12は、小側ルックアップテーブルを特定する(ステップSA2)。次いで、画像処理部12は、大側ルックアップテーブルを特定する(ステップSA3)。次いで、画像処理部12は、小側ルックアップテーブルおよび大側ルックアップテーブルに基づいて加工ルックアップテーブルを生成する(ステップSA4)。次いで、画像処理部12は、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換する(ステップSA5)。次いで、画像処理部12は、右サイドカメラ撮影画像の死角領域DRに、生成した補完画像を合成することによって右側合成画像を生成する(ステップSA6)。
【0068】
<第2実施形態>
次に、第2実施形態について説明する。
図9は、第2実施形態に係る画像処理装置1Aの機能構成例を示すブロック図である。以下の第2実施形態の説明では、第1実施形態と同じ構成要素については同一の符号を付し、その説明を省略する。
【0069】
図9に示すように、本実施形態に係る画像処理装置1Aは、撮影画像取得部10に代えて撮影画像取得部10Aを備え、画像処理部12に代えて画像処理部12Aを備えている。また、画像処理装置1Aは、機能構成として面形状検出部15を更に備え、記憶手段として車両関連情報記憶部16を更に備えている。車両関連情報記憶部16は、後述するように車両タイプと面形状情報とを対応付けて記憶している。
【0070】
撮影画像取得部10Aは、第1実施形態に係る撮影画像取得部10と同様の処理を実行し、更に、所定の周期でリアカメラ撮影画像を面形状検出部15に出力する。
【0071】
面形状検出部15は、注目対象物が自車両に後続する後続車両である場合に、その後続車両のリアカメラ3に対向する面の形状を検出する。詳述すると、面形状検出部15は、リアカメラ撮影画像を入力する度に、リアカメラ撮影画像に記録されている注目対象物の画像が後続車両の画像であるか否かを判定する。第1実施形態で説明したように、注目対象物は、リアカメラ撮影画像の特定領域MMに画像が存在する対象物であって、所定のルールによって選択されるものである。注目対象物の画像が後続車両の画像である場合、基本的には、後続車両の画像は、後続車両のリアカメラ3に対向する面(進行方向側の面)の画像である。当該判定は、パターンマッチング等の既存の画像認識処理により適切に行われる。
【0072】
注目対象物の画像が後続車両の画像である場合、面形状検出部15は、後続車両の車両タイプを特定する。本実施形態において、車両タイプとは、車両の進行方向の面の形状により分類されたタイプを意味し、タイプA、タイプBおよびタイプCがある。
【0073】
図10(A)は、自車両、および、自車両に後続するタイプAの後続車両を横から見た様子を模式的に示す図である。
図10(A)に示すように、タイプAの車両は、フロントガラスの基端部よりも前方に延在するボンネットの長さが、タイプBと比較して長いタイプの車両である。一般に、セダンやスポーツカーはタイプAに属する。
図10(B)は、自車両、および、自車両に後続するタイプBの後続車両を横から見た様子を模式的に示す図である。
図10(B)に示すように、タイプBの車両は、フロントガラスの基端部よりも前方に延在するボンネットの長さが、タイプAと比較した短いタイプの車両である。一般に、ミニバンやバンはタイプBに属する。
図10(C)は、自車両、および、自車両に後続するタイプCの後続車両を横から見た様子を模式的に示す図である。
図10(C)に示すように、タイプCの車両は、車両の先端部にボンネットがないタイプの車両である。一般に、トラックはタイプCに属する。
【0074】
なお、車両タイプは、
図10を用いて例示したもの以外のタイプが含まれていてもよく、個数も3つに限らない。
【0075】
面形状検出部15は、パターンマッチング等の既存の画像認識処理により注目対象物としての後続車両の車両タイプを適切に特定する。車両タイプを特定した後、面形状検出部15は、車両関連情報記憶部16を参照し、特定した車両タイプに対応する面形状情報を取得する。車両関連情報記憶部16には、車両タイプごとに、車両タイプと面形状情報とが対応付けて記憶されている。
【0076】
ここで、面形状情報は、
図10の各図に示すように、起立投影面を想定した仮想的な平らな面の地面に対する角度KD、その平らな面と地面との接点の車両の前端部からの調整量TR、および、その平らな面の高さTS(=平らな面の頂上部の地面からの高さ)を車両タイプごとに定めた情報である。この場合の平らな面は、車両の進行方向側の面にできるだけ沿うように地面に設置した面である。
【0077】
図10(A)に示すように、タイプAの場合、ボンネットが比較的長く突出していることに起因して、タイプB、Cと比較して、角度KDは小さく、調整量TRは大きい。一方、タイプCの場合、ボンネットがないことに起因して、タイプA、Bと比較して、角度KDは小さく、調整量TRは小さい。タイプBに係る角度KDおよび調整量TRの値は、タイプA,Cに係る角度KDおよび調整量TRの間の値である。
【0078】
面形状検出部15は、取得した面形状情報を画像処理部12Aに出力する。なお、注目対象物が自車両に後続する後続車両ではない場合は、以上の面形状検出部15の処理は実行されず、画像処理部12Aは、第1実施形態と同じ方法で合成画像を生成する。
【0079】
画像処理部12Aは、合成画像生成処理において以下の処理を実行する。以下、右サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて右側合成画像を生成する合成画像生成処理を実行するときの画像処理部12Aの処理について説明する。
【0080】
合成画像生成処理において、まず、画像処理部12Aは、面形状検出部15から入力する面形状情報に含まれる角度KD、調整量TRおよび高さTSを認識する。次いで、画像処理部12Aは、特定ルックアップテーブルを加工して、以下の起立投影面を用いて視点変換を行う加工ルックアップテーブルを生成する。すなわち、起立投影面は、地面からの高さTSの範囲において、対象物距離から調整量TRを差し引いた位置を起点として角度KDだけ傾いた第1投影面TM1を有し、高さTSを超えた範囲において、「30メートル」の位置で垂直に起立する第2投影面TM2を有する。以下、対象物距離から調整量TRを引いた距離を「調整距離」という。
【0081】
図11は、面形状情報に基づく起立投影面を右側仮想カメラの仮想的な撮影画像と共に模式的に示す図である。以下、
図11を用いて加工ルックアップテーブルを生成するときの画像処理部12Aの処理について詳述する。まず、画像処理部12Aは、右側仮想カメラの仮想的な撮影画像において、死角領域DRのうち、第1投影面TM1に対応する領域(画像の投影に第1投影面TM1が利用される領域)である第1投影面対応領域AR1(
図11(b)参照)を特定する。第1投影面対応領域ARの態様は、調整距離、角度KDおよび高さTSにより一意に定まる。これを踏まえ、画像処理部12Aは、調整距離、角度KDおよび高さTSをパラメーターとして利用する所定のアルゴリズムを用いて、第1投影面対応領域AR1を特定する。
【0082】
第1投影面対応領域AR1を特定した後、画像処理部12Aは、第1投影面対応領域AR1を構成するドットラインごとに以下の処理を行う。ドットラインとは、左右方向に延びる1行分のドットのラインを意味する。以下、第1投影面対応領域AR1を構成するドットラインのうち、ある1つのドットラインL1(
図11(b)参照)について画像処理部12Aが実行する処理を説明する。
【0083】
まず、画像処理部12Aは、第1投影面TM1において、ドットラインL1に対応するポイントP1(
図11(a)参照)を特定する。次いで、画像処理部12Aは、ポイントP1における投影面の距離(=リアカメラ3からポイントP1までの距離)を算出する。画像処理部12Aは、面形状情報に基づいて、ポイントP1における投影面の距離を算出する。
図11の例では、ポイントP1における投影面の距離は、「4.25メートル」であるものとする。
【0084】
次いで、画像処理部12Aは、ドットラインL1に含まれる全てのドットについて、各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する。
【0085】
ドットラインL1についてのドットライン対応関係情報を算出する処理について詳述する。上述の通り、ドットラインL1に対応するポイントP1の投影面の距離は「4.25メートル」である。この場合において、まず、画像処理部12Aは、第1実施形態と同様の方法で、ルックアップテーブル記憶部14に記憶された右側特定ルックアップテーブルのうち、小側ルックアップテーブル(本例の場合、起立投影面の距離が「4メートル」の右側特定ルックアップテーブル)、および、大側ルックアップテーブル(本例の場合、起立投影面の距離が「5メートル」の右側特定ルックアップテーブル)を特定する。
【0086】
更に、画像処理部12Aは、小側ルックアップテーブルに係る起立投影面の距離およびドットラインL1に対応するポイントP1の投影面の距離の差S1(絶対値)と、大側ルックアップテーブルに係る起立投影面の距離およびドットラインL1に対応するポイントP1の投影面の距離の差S2(絶対値)との比を算出する。本例では、「差S1:差S2」=「1:3」である。
【0087】
「差S1:差S2」を算出した後、画像処理部12は、ドットラインL1に含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられたドットライン対応関係情報を生成する。画像処理部12は、第1実施形態において小側ルックアップテーブルと大側ルックアップテーブルとを加工して加工ルックアップテーブルを生成するときと同様の方法で、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差S2:差S1」となるように、各テーブルを加工してドットライン対応関係情報を生成する。
【0088】
以上の処理が、ドットラインL1について画像処理部12Aが実行する処理である。画像処理部12Aは、第1投影面対応領域AR1を構成するドットラインごとに以上の処理を行って、ドットラインごとにドットライン対応関係情報を生成する。ドットラインごとにドットライン対応関係情報を生成した後、画像処理部12Aは、ドットラインごとのドットライン対応関係情報に基づいて、加工ルックアップテーブルを生成する。
【0089】
より詳細には、画像処理部12Aは、第1投影面対応領域AR1を構成するドットについては、ドットラインごとのドットライン対応関係情報に基づいてドット位置が定義され、第2投影面TM2に対応する第2投影面対応領域AR2(
図11(b)参照)を構成するドットについては、起立投影面の距離が「30メートル」の右側特定ルックアップテーブルに基づいてドット位置が定義され、路面投影面に対応する路面投影面対応領域AR3(
図11(b)参照)を構成するドットについては、路面投影面を用いてリアカメラ3の視点を右側仮想カメラ視点変換するための所定のアルゴリズムを利用してドット位置が定義された加工ルックアップテーブルを生成する。
【0090】
加工ルックアップテーブルを生成した後、画像処理部12は、生成した加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換し、補完画像を右サイドカメラ撮影画像に合成して右側合成画像を生成する。
【0091】
なお、上記例では、1行のドットラインごとにドットライン対応関係情報を生成した。この点に関し、複数行のまとまったドットラインごとにドットライン対応関係情報を生成する構成でもよい。ただし、1つのドットライン対応関係情報を生成する対象とするドットラインの行数が小さければ小さいほど、第1投影面対応領域AR1において、上下方向により細かく投影面が用いられることになるため、最終的に生成される補完画像の第1投影面対応領域AR1において、画像が上下方向に滑らかに接続されることになる。しかしながら、1つのドットライン対応関係情報を生成する対象とするドットラインの行数が小さければ小さいほど、より細かくドットライン対応関係情報を算出する必要が生じ、処理負荷が増大する。
【0092】
次に、本実施形態に係る方法で合成画像生成処理が行われることの意義、効果について説明する。
図12は、本実施形態に係る方法で合成画像生成処理が行われることによって生成された右側合成画像を示している。第1実施形態では、起立投影面として路面投影面に対して垂直に起立する投影面を用いて画像変換が行われることに起因して、後続車両が注目対象物の最前部の面以外の面の画像については、最前部の面の画像と比較して、合成画像の境界における連続性が劣ってしまう(
図7参照)という課題があった。一方で、本実施形態では、注目対象物が後続車両の場合には、その後続車両の進行方向の面の形状に即した投影面が用いられて画像変換が行われるため、第1実施形態の場合と比較し、後続車両の画像の上下方向の全域において、境界における連続性をより良好に保つことができる(
図12)。
【0093】
次に、本実施形態に係る画像処理装置1の動作例についてフローチャートを用いて説明する。
図13のフローチャートFBは、画像処理部12Aが、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて合成画像生成処理を生成し、右側合成画像を生成するときの処理の詳細を示すフローチャートである。
【0094】
図13に示すように、画像処理部12Aは、面形状検出部15から入力する面形状情報に含まれる角度KD、調整量TRおよび高さTSを認識する(ステップSB1)。次いで、画像処理部12Aは、右側仮想カメラの仮想的な撮影画像における第1投影面対応領域AR1を特定する(ステップSB2)。次いで、画像処理部12Aは、第1投影面対応領域AR1を構成するドットラインごとに、ドットラインに含まれる各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する(ステップSB3)。
【0095】
次いで、画像処理部12Aは、ステップSB3で生成したドットライン対応関係情報を用いて、加工ルックアップテーブルを生成する(ステップSB4)。次いで、画像処理部12は、ステップSB4で生成した加工ルックアップテーブルを用いてリアカメラ撮影画像を補完画像に変換する(ステップSB5)。次いで、画像処理部12Aは、ステップSB5で生成した補完画像を右サイドカメラ撮影画像に合成して右側合成画像を生成する(ステップSB6)。
【0096】
<第2実施形態の変形例>
次に、第2実施形態の変形例について説明する。
【0097】
<第1の変形例>
第2実施形態では、後続車両の前面に沿った第1投影面TM1は、地面投影面に対して所定角度だけ傾いた平らな面であった。この点に関し、
図14(A)〜(C)に示すように、第1投影面TM1は、後続車両の前面に沿って適切に屈折する面であってもよい。この場合、車両関連情報記憶部16に記憶される面形状情報は、第1投影面TM1の形状を適切に表す情報(例えば、屈曲部分ごとの位置および角度に関する情報を含む情報)とされる。
【0098】
<第2の変形例>
また、第2実施形態では、面形状検出部15は、リアカメラ撮影画像を分析して後続車両の車両タイプを特定し、車両タイプに対応する面形状情報に基づいて、後続車両のリアカメラ3に対向する面の形状を検出した。この点に関し、面形状検出部15がリアカメラ撮影画像を分析し、注目対象物の面の形状を検出する構成でもよい。
【0099】
この場合において、面形状検出部15は、第2実施形態のように地面から延在する平らな面として注目対象物の面の形状を検出してもよく、第1の変形例のように、後続車両の前面に沿って適切に屈折する面として注目対象物の面の形状を検出してもよい。前者の方法の場合、例えば、距離検出部11は、リアカメラ撮影画像(歪み補正後の画像であってもよい)における注目対象物(=後続車両)の画像上における上下方向の2点の距離を検出する。次いで、面形状検出部15は、検出した2点の距離に位置する仮想点を通る平面を第1投影面TM1として検出する。
【0100】
<第3の変形例>
第2実施形態では、注目対象物が後続車両である場合に、その後続車両の面の形状に対応する起立投影面を用いた画像変換により補完画像を生成した。この点に関し、注目対象物が後続車両以外の物体の場合にも、その物体の面の形状に対応する起立投影面を用いて画像変換を行う構成でもよい。この場合、面形状検出部15は、例えば、第2の変形例で例示した方法により、注目対象物に係る物体の面の形状を検出する。
【0101】
<第4の変形例>
第2実施形態では、ルックアップテーブル記憶部14に記憶された特定ルックアップテーブルを用いて加工ルックアップテーブルを生成し、加工ルックアップテーブルを用いて補完画像を生成する構成であった。一方で、第2実施形態において、補完画像の生成に使用するルックアップテーブルは、上記方法で生成された加工ルックアップテーブルではなくてもよい。例えば、所定の範囲内で対象物距離が取り得る値ごとに、車両タイプごとのルックアップテーブルを記憶しておき、適切なルックアップテーブルを用いて補完画像を生成する構成でもよい。また、画像処理部12Aが、対象物距離や、面形状情報等をパラメーターとして使用する所定のアルゴリズムで都度、補完画像を生成するためのルックアップテーブルを生成する構成でもよい。
【0102】
<第3実施形態>
次に、第3実施形態について説明する。
図15は、第3実施形態に係る画像処理装置1Bの機能構成例を示すブロック図である。以下の第3実施形態の説明では、第1実施形態と同じ構成要素については同一の符号を付し、その説明を省略する。
【0103】
図15に示すように、本実施形態に係る画像処理装置1Bは、画像処理部12に代えて画像処理部12Bを備えている。また、画像処理装置1Bは、機能構成として路面形状検出部20を更に備えている。
【0104】
路面形状検出部20は、自車両から前記注目対象物に至る路面の形状を検出する。例えば、路面形状検出部20は、GPSユニット等で検出された自車両の位置と、自車両に搭載された装置(画像処理装置1、1Aであってもよく、他の装置でもよい)や、ネットワークを介して接続されたサーバー等が記憶する道路情報とに基づいて、自車両の後方の路面の形状を検出する。リアカメラ撮影画像や、サイドカメラ撮影画像、「リアカメラ3およびサイドカメラ4R,4L以外のカメラの撮影画像」、レーダー装置等を用いて自車両の後方の路面の形状を検出する構成でもよい。また、自車両の走行の軌跡を記録し、これを利用して路面の形状を検出する構成でもよい。
【0105】
画像処理部12Bは、以下の処理を実行する。すなわち、上記各実施形態において、路面投影面は、自車両が走行する路面に対応する水平面であった。一方で、画像処理部12Bは、路面投影面について、その形状が、路面形状検出部20により検出された路面の形状に対応する形状となるように、特定ルックアップテーブルを加工して加工ルックアップテーブルを生成する。
図16(A)は、この場合に、起立投影面と路面投影面とにより構成される投影面の一例を示している。
【0106】
なお、本実施形態において、起立投影面については、
図16(B)に示すように、第2実施形態の技術に基づいて、注目対象物の前面に沿って傾く平らな面としてもよく、
図16(C)に示すように、第2実施形態の第1変形例の技術に基づいて、注目対象物の前面に沿って適宜屈折した面としてもよい。
【0107】
以上、本発明の実施形態(変形例を含む)を説明したが、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。
【0108】
例えば、第1実施形態では、画像処理部12は、特定ルックアップテーブルから小側ルックアップテーブルおよび大側ルックアップテーブルを特定し、各テーブルに基づいて加工ルックアップテーブルを生成した。しかしながら、加工ルックアップテーブルを生成する方法は、各実施形態で例示した方法に限らない。例えば、画像処理部12は、小側ルックアップテーブル(大側ルックアップテーブルであってもよい)を、小側ルックアップテーブルに係る投影面の距離と、対象物距離との差に応じて、その投影面の距離が対象物距離となるように加工して、加工ルックアップテーブルを生成する構成でもよい。第2、第3実施形態についても同様である。
【0109】
また、上記各実施形態では、リアカメラ3が魚眼カメラにより構成され、サイドカメラ4R,RLが標準カメラにより構成されていたが、リアカメラ3やサイドカメラ4R,4Lをどのようなカメラにより構成するかは、各実施形態の例に限定されない。
【0110】
また、上記各実施形態では、合成画像を表示する表示装置は、右モニター2Rおよび左モニター2Lであった。しかしながら、合成画像を表示する表示装置は、右モニター2Rおよび左モニター2Lに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーMRおよび左サイドミラーMLに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。
【0111】
また、サイドカメラ4R,4Lの自車両における設置位置は、上記各実施形態で例示した位置に限られない。例えば、サイドカメラ4R,4Lは、車両の側面であって、車両の前端に近い位置に設けられてもよい。
【0112】
また、第1実施形態では、各種ルックアップテーブルを画像処理装置1が記憶する構成であったが、ルックアップテーブルの一部または全部を外部装置が記憶し、画像処理部12が適宜外部装置と通信して各種ルックアップテーブルを取得する構成でもよい。他の情報についても、画像処理装置1ではなく、外部装置が記憶する構成とすることができる。第2、第3実施形態についても同様である。