【課題】第1カメラの死角範囲に対応する死角領域を、第2カメラの第2撮影画像を画像変換した画像によって補った合成画像について、合成画像の境界において画像の連続性をできるだけ保つようにした「画像処理装置および画像処理方法」を提供する。
【解決手段】画像処理装置1は、合成画像を生成する画像処理部11と合成画像を表示する表示制御部12とを備え、画像処理部11は、単一の距離の投影面を用いて画像変換を行って死角領域を補完する画像を生成するのではなく、画像ライン毎に、連続範囲についてサイドカメラ撮影画像とリアカメラ撮影画像を画像変換して生成した画像との一致度を反映して投影面の距離を決定し、これを用いてリアカメラ撮影画像に対して画像変換を行ってドットライン毎に補完用の画像を生成するようにしている。
車両に搭載され、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行う第1カメラの第1撮影画像と、前記第1カメラの撮影範囲のうち前記車体により死角となる死角範囲および前記死角範囲に連続する連続範囲を含む範囲を撮影可能な第2カメラの第2撮影画像とを取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記第2撮影画像を画像変換し、変換後の画像によって前記撮影画像取得部により取得された前記第1撮影画像における前記死角範囲に対応する死角領域を補った合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部とを備え、
前記画像処理部は、
前記第1撮影画像のドットラインである画像ライン毎に、前記連続範囲について前記第1撮影画像と前記第2撮影画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定し、前記画像ライン毎に決定した距離の投影面を用いた画像変換を前記第2撮影画像に対して行って、前記死角領域を構成するドットラインである死角領域ライン毎にドットライン補完画像を生成し、生成した前記ドットライン補完画像のそれぞれによって前記死角領域ラインのそれぞれを補完して前記合成画像を生成する
ことを特徴とする画像処理装置。
画像処理装置の撮影画像取得部が、車両に搭載され、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行う第1カメラの第1撮影画像と、前記第1カメラの撮影範囲のうち前記車体により死角となる死角範囲および前記死角範囲に連続する連続範囲を含む範囲を撮影可能な第2カメラの第2撮影画像とを取得する第1のステップと、
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記第2撮影画像を画像変換し、変換後の画像によって前記撮影画像取得部により取得された前記第1撮影画像における前記死角範囲に対応する死角領域を補った合成画像を生成する第2のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第3のステップとを含み、
第2のステップにおいて、前記画像処理部は、前記第1撮影画像のドットラインである画像ライン毎に、前記連続範囲について前記第1撮影画像と前記第2撮影画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定し、前記画像ライン毎に決定した距離の投影面を用いた画像変換を前記第2撮影画像に対して行って、前記死角領域を構成するドットラインである死角領域ライン毎にドットライン補完画像を生成し、生成した前記ドットライン補完画像のそれぞれによって前記死角領域ラインのそれぞれを補完して前記合成画像を生成する
ことを特徴とする画像処理方法。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本実施形態に係る画像処理装置1の機能構成例を示すブロック図である。画像処理装置1は、運転手が車両の右サイドミラーMRまたは左サイドミラーMLを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。
【0015】
図1に示すように、画像処理装置1には、右モニター2R、左モニター2L、リアカメラ3、右サイドカメラ4Rおよび左サイドカメラ4Lが接続されている。以下、画像処理装置1が搭載された車両を「自車両」という。
【0016】
右モニター2Rは、自車両のダッシュボードの右端部(車内において右サイドミラーMRに近い位置)に設けられた表示パネル(例えば、液晶表示パネルや、有機EL表示パネル等)である。左モニター2Lは、自車両のダッシュボードの左端部(車内において左サイドミラーMLに近い位置)に設けられた表示パネルである。右モニター2Rおよび左モニター2Lは、特許請求の範囲の「表示装置」に相当する。
【0017】
リアカメラ3は、自車両の後部に設けられた撮影装置である。右サイドカメラ4Rは、自車両の前部座席の右サイドドアの右サイドミラーMRに設けられた撮影装置である。左サイドカメラ4Lは、自車両の前部座席の左サイドドアの左サイドミラーMLに設けられた撮影装置である。
【0018】
図2は、リアカメラ3および右サイドカメラ4Rの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ4Rと左サイドカメラ4Lとを区別しない場合は「サイドカメラ4R,4L」と表現する。また、右サイドカメラ4Rの撮影画像と左サイドカメラ4Lの撮影画像とを区別しない場合は「サイドカメラ撮影画像」という。
【0019】
図2に示すように、リアカメラ3は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向(光軸の方向)として撮影を実行する。
図2において、符号HBは、リアカメラ3の撮影範囲を模式的に示している。以下、リアカメラ3の撮影範囲を「リアカメラ撮影範囲HB」という。リアカメラ3は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ3は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ3が生成し、出力する撮影画像を「リアカメラ撮影画像」という。リアカメラ3は、特許請求の範囲の「第2カメラ」に相当し、リアカメラ撮影画像は、特許請求の範囲の「第2撮影画像」に相当する。
【0020】
図3(A)は、リアカメラ撮影画像の一例を示している。
図3(A)のリアカメラ撮影画像には、1台分の車両が通行可能な道路上で後続する後続車両の画像KZbが記録されている。また、
図3(A)のリアカメラ撮影画像には、建物の画像TMbが記録されている。リアカメラ撮影画像が生成されたタイミングにおいて、建物は、自車両から相当に離れた場所に位置しており、建物までの距離は、いわゆる無限遠である。また、リアカメラ撮影画像には、地平線を表す画像SHbが記録されている。
【0021】
図2に示すように、右サイドカメラ4Rは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向(光軸の方向)として撮影を実行する。
図2において、符号HRは、右サイドカメラ4Rの撮影範囲を模式的に示している。右サイドカメラ4Rは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲HBの水平画角よりも小さい。以下、右サイドカメラ4Rの撮影範囲を「右サイドカメラ撮影範囲HR」という。
【0022】
図2に示すように、右サイドカメラ4Rの撮影範囲には、車両の車体に遮蔽された死角範囲DHが形成される。死角範囲DHについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ3のリアカメラ撮影範囲HBには、死角範囲DH、および、死角範囲DHに連続する連続範囲QHが含まれている。つまり、リアカメラ3は、死角範囲DHおよび連続範囲QHの風景を撮影可能である。右サイドカメラ4Rは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ4Rが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。
【0023】
図3(B)は、
図3(A)のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ4Rが生成する右サイドカメラ撮影画像の一例を示す図である。
図3(B)に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像JSrが記録された死角領域DRが形成されている。死角領域DRは、右サイドカメラ4Rの右サイドカメラ撮影範囲HRの死角範囲DH(
図2参照)に対応する領域である。右サイドカメラ4Rは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域DRの態様(位置、形状)は一定である。
【0024】
図3(B)で例示する右サイドカメラ撮影画像には、後続車両の画像KZrが記録されている。後続車両の画像KZrは、その一部が自車両の車体の画像JSrに覆われた状態である。また、右サイドカメラ撮影画像には、建物の画像TMrが記録されている。建物の画像TMrは、その一部が自車両の車体の画像JSrおよび後続車両の画像KZrに覆われた状態である。また、右サイドカメラ撮影画像には、地平線を表す画像SHrが記録されている。
【0025】
左サイドカメラ4Lは、右サイドカメラ4Rと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーMLに、右サイドカメラ4Rと同様の態様で設置されている。左サイドカメラ4Lは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ4Lが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。
【0026】
右サイドカメラ4Rおよび左サイドカメラ4Lは、特許請求の範囲の「第1カメラ」に相当し、右サイドカメラ撮影画像および左サイドカメラ撮影画像は、特許請求の範囲の「第1撮影画像」に相当する。
【0027】
図1に示すように、画像処理装置1は、機能構成として、撮影画像取得部10、画像処理部11および表示制御部12を備えている。上記各機能ブロック10〜12は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック10〜12は、実際にはコンピュータのCPU、RAM、ROM等を備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。また、
図1に示すように、画像処理装置1は、記憶手段として、ルックアップテーブル記憶部13を備えている。ルックアップテーブル記憶部13は、後述する各種ルックアップテーブルを記憶する。
【0028】
撮影画像取得部10は、リアカメラ3からリアカメラ撮影画像を所定の周期で入力し取得する。また、撮影画像取得部10は、右サイドカメラ4Rから右サイドカメラ撮影画像を所定の周期で入力し取得する。また、撮影画像取得部10は、左サイドカメラ4Lから左サイドカメラ撮影画像を所定の周期で入力し取得する。撮影画像取得部10は、所定の周期で取得するリアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を、画像処理部11に出力する。
【0029】
画像処理部11は、撮影画像取得部10により取得されたリアカメラ撮影画像を画像変換し、変換後の画像によって撮影画像取得部10により取得されたサイドカメラ撮影画像における死角領域DRを補った合成画像を生成する。
【0030】
そして、画像処理部11は、合成画像の生成に際し、サイドカメラ撮影画像のドットラインである画像ライン毎に、連続範囲QHについてサイドカメラ画像とリアカメラ画像を画像変換して生成した画像との一致度を反映して、画像変換に用いる投影面の距離を決定する。また、画像処理部11は、画像ライン毎に決定した距離の投影面を用いた画像変換をリアカメラ撮影画像に対して行って、死角領域DRを構成するドットラインである死角領域ラインDL毎にドットライン補完画像を生成し、生成したドットライン補完画像のそれぞれによって死角領域ラインDLのそれぞれを補完して合成画像を生成する。
【0031】
以下、画像処理部11の処理について、右サイドカメラ4Rの右サイドカメラ撮影画像、および、リアカメラ3のリアカメラ撮影画像に基づいて、右側合成画像(合成画像)を生成する場合を例にして詳述する。なお、画像処理部11は、右側合成画像の生成と並行して、左サイドカメラ4Lの左サイドカメラ撮影画像に基づいて左側合成画像(合成画像)を生成する。
【0032】
画像処理部11は、撮影画像取得部10からリアカメラ撮影画像および右サイドカメラ撮影画像を所定の周期で入力し、入力したこれらの撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理は、合成画像(本例の場合は、右側合成画像)を生成する処理である。画像処理部11は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、生成した右側合成画像を表示制御部12に出力する。以下、合成画像生成処理について詳述する。なお、以下では、右側合成画像を生成する合成画像生成処理について説明するが、実際には、この処理と同期して左側合成画像を生成する合成画像生成処理が実行される。
【0033】
図4は、合成画像生成処理の説明に利用するため、
図3(B)の右サイドカメラ撮影画像を拡大して示す図である。
図4に示すように、右サイドカメラ撮影画像には、死角領域DRに連続して、連続領域QRが形成される。連続領域QRは、死角範囲DHに連続する連続範囲QH(
図2参照)に対応する領域であり、連続領域QRには、右サイドカメラ4Rによる連続範囲QHの撮影結果に基づく画像が記録される。連続領域QRの位置および幅は、連続領域QRに対応する連続範囲QHに対象物が存在している状況で合成画像を生成したときに、生成された合成画像において、その対象物の画像が、合成画像における右サイドカメラ撮影画像と補完画像との境界に位置するように設定される。
【0034】
また、ルックアップテーブル記憶部13には、リアカメラ撮影画像を第1〜第10比較対象画像に変換するための第1〜第10比較対象画像生成用ルックアップテーブルが記憶されている。第N比較対象画像生成用ルックアップテーブル(ただし、N=1、2・・・10)はそれぞれ、リアカメラ撮影画像を、「右側仮想カメラが、連続範囲QHを仮想的に撮影することによって生成される撮影画像(=第N比較対象画像)」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ4Rと同一の撮影方向で同一の撮影範囲を撮影する仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ4Rの視点に視点変換する際に概念的に用いられる。
【0035】
第N比較対象画像生成用ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の連続領域QRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。この対応関係情報は、リアカメラ3の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系における右側仮想カメラおよびリアカメラ3の配置位置および配置角度、リアカメラ3の仕様(投影方法や、画角、ディストーション(レンズの歪み)、解像度等)、右側仮想カメラの仕様、その他の要素を反映して事前に適切に設定されている。
【0036】
特に、本実施形態では、第1〜第10比較対象画像生成用ルックアップテーブルは、それぞれ、リアカメラ3の視点から右側仮想カメラの視点への視点変換に用いられる垂直投影面の距離が異なっている。
図5は、垂直投影面を説明するため、自車両と共に垂直投影面を示す図である。
図5に示すように、垂直投影面は、路面に対応する路面投影面に対して垂直に立ち上がった投影面のことを意味する。また、垂直投影面の距離は、リアカメラ3の光学原点から垂直投影面までの距離を意味する。第1〜第10比較対象画像生成用ルックアップテーブルによる視点変換に用いられる投影面は、路面投影面と垂直投影面とにより構成される。
【0037】
図6は、第1〜第10比較対象画像生成用ルックアップテーブルおよび後述する第1〜第10右側特定ルックアップテーブルのそれぞれについて、視点変換に用いられる垂直投影面の距離を示す表である。
図6の表に示すように、第1〜第10比較対象画像生成用ルックアップテーブルの投影面の距離は、それぞれ「0.5メートル」、「1メートル」、「2メートル」、「3メートル」、「4メートル」、「5メートル」、「7メートル」、「10メートル」、「20メートル」、「30メートル」である。
【0038】
さて、合成画像生成処理において、まず、画像処理部11は、第1〜第10比較対象画像生成用ルックアップテーブルのそれぞれを用いて、リアカメラ撮影画像を、第1〜第10比較対象画像のそれぞれに変換する。この処理が行われる結果、リアカメラ撮影画像に対する第1比較対象画像生成用ルックアップテーブル(投影面の距離=「0.5メートル」)を用いた視点変換により、第1比較対象画像が生成される。この第1比較対象画像は、右側仮想カメラの仮想的な撮影画像の連続領域QRを構成するドットの画素値が、第1比較対象画像生成用ルックアップテーブルに基づいて、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた画像である。同様に、上記処理が行われる結果、リアカメラ撮影画像に対する第2〜第10比較対象画像生成用ルックアップテーブル(投影面の距離=「1、2、3、4、5、7、10、20、30メートル」)を用いた視点変換により、第2〜第10比較対象画像が生成される。
【0039】
第1〜第10比較対象画像を生成した後、画像処理部11は、右サイドカメラ撮影画像から、連続領域QRに属する画像(以下、「連続領域画像」という)を抽出する。次いで、画像処理部11は、抽出した連続領域画像と、第1〜第10比較対象画像のそれぞれを対象として一致度算出処理を実行する。以下、一致度算出処理について詳述する。
【0040】
ここで、本実施形態では、
図4に示すように、右サイドカメラ撮影画像の領域を対象として4つの第1〜第4比較ラインHL1〜HL4が設定されている。第〜第4比較ラインHL1〜HL4は、右サイドカメラ撮影画像を構成するドットライン(以下、「画像ライン」という)のうち、右サイドカメ撮影画像の領域を上下方向に均等に5等分した場合の4つの区切りに位置する画像ラインとされている。
【0041】
図7は、一致度算出処理の説明に利用するための図である。
図7(A)は、
図4の右サイドカメラ撮影画像から抽出される連続領域画像を示している。
図7(B1)は、
図3(A)のリアカメラ撮影画像を、第1比較対象画像生成用ルックアップテーブル(投影面の距離=「0.5メートル」)を用いて画像変換することによって生成される第1比較対象画像を示している。また、
図7(B2)は第5比較対象画像を示し、
図7(B3)は第10比較対象画像を示している。
【0042】
一致度算出処理において、まず、画像処理部11は、第1比較対象画像および連続領域画像を処理対象として以下の処理を実行する。すなわち、画像処理部11は、「第1比較対象画像を構成するドットラインのうち、第1比較ラインHL1に属するドットライン(以下、「比較対象ドットラインTL11」とする。
図7(B1)参照)」と、「連続領域画像を構成するドットラインのうち、第1比較ラインHL1に属するドットライン(以下、「基準ドットラインRL1」とする。
図4および
図7(A)参照)」とを比較して、これらドットラインについての一致度を算出する。
【0043】
一致度を算出する方法はどのような方法でもよい。例えば、画像処理部11は、各ドットラインの対応するドット毎に、画素値の差(絶対値)を算出する。そして、画像処理部11は、全てのドットの画素値の差の平均値を算出し、平均値が小さいほど算出値を高くする(または低くする)計算式によって一致度を算出する。また、画像処理部11は、ドット毎に画素値の差(絶対値)を算出し、画素値の差を累計した累計値を算出し、累計値が小さいほど算出値を高くする(または低くする)計算式によって一致度を算出する。この他、標準偏差等の統計学的手法を用いて一致度を算出する構成でもよい。本実施形態では、一致度は「0」〜「100」の数値によって表されるものであり、数値が高いほど一致の度合いが高いものとする。
【0044】
比較対象ドットラインTL11と基準ドットラインRL1との一致度を算出した後、画像処理部11は、同様の方法で、比較対象ドットラインTL12(
図4、
図7(B)参照)と基準ドットラインRL2との一致度、比較対象ドットラインTL13(
図4、
図7(B)参照)と基準ドットラインRL3との一致度、および、比較対象ドットラインTL14(
図4、
図7(B)参照)と基準ドットラインRL4との一致度を算出する。以上の処理の結果、第1比較対象画像について、第1〜第4比較ラインHL1〜HL4に位置するドットライン(比較対象ドットラインTL11〜TL14)毎に、連続領域画像の対応するドットライン(基準ドットラインRL1〜RL4)との一致度が算出される。
【0045】
第1比較対象画像および連続領域画像を処理対象として以上の処理を実行した後、画像処理部11は、第2〜第10比較対象画像のそれぞれと連続領域画像とを処理対象として同様の処理を実行する。この結果、第2〜第10比較対象画像のそれぞれについて、第1〜第4比較ラインHL1〜HL4に位置するドットライン毎に、連続領域画像の対応するドットライン(基準ドットラインRL1〜RL4)との一致度が算出される。例えば、
図7に示すように、第5比較対象画像については、比較対象ドットラインTL51〜TL54毎に基準ドットラインRL1〜RL4との一致度が算出され、また、第10比較対象画像については、比較対象ドットラインTL101〜TL104毎に基準ドットラインRL1〜RL4との一致度が算出される。
【0046】
以上の処理が一致度算出処理である。一致度算出処理を実行した後、画像処理部11は、第1〜第4比較ラインHL1〜HL4毎に、第1〜第10比較対象画像のうち、最も一致度が高かった比較対象画像を特定する。
図8は、一致度算出処理で算出された一致度の例を一覧表示する表である。一致度算出処理の処理結果が、
図8の表で例示するものである場合、画像処理部11は、第1比較ラインHL1については第9比較対象画像(投影面の距離=「20メートル」)を、第2比較ラインHL2については第8比較対象画像(投影面の距離=「10メートル」)を、第3比較ラインHL3については第6比較対象画像(投影面の距離=「5メートル」)を、第4比較ラインHL4については第4比較対象画像(投影面の距離=「3メートル」)をそれぞれ、最も一致度が高かった比較対象画像として特定する。
【0047】
次いで、画像処理部11は、投影面距離決定処理を実行する。投影面距離決定処理は、画像ライン毎に、画像変換に用いる投影面の距離を決定する処理である。以下、投影面距離決定処理について詳述する。以下では、画像ライン毎に決定される投影面の距離を適宜「ドットライン投影面の距離」と表現する。
【0048】
図9は、投影面距離決定処理の説明に利用する図である。
図9(A)は、右サイドカメラ撮影画像の死角領域DRを拡大した図である。
図9(B)は、
図9(A)の死角領域の上下方向と対応させた縦軸と、「0メートル」〜「30メートル」の範囲で投影面の距離を表す横軸とを有する座標に、画像ライン毎に決定される投影面の距離をプロットしたグラフである。特に、
図9(B)は、一致度算出処理の処理結果が
図8の表に示すものであった場合のグラフを示している。以下の説明では、一致度算出処理の処理結果が
図8に示すものである場合のことを適宜「本ケースの場合」と表現する。
【0049】
投影面距離決定処理において、まず、画像処理部11は、第1〜第4比較ラインHL1〜HL4については、一致度算出処理において最も一致度が高いと特定した比較対象画像の投影面の距離を、ドットライン投影面の距離とする。本ケースの場合、画像処理部11は、第1〜第4比較ラインHL1〜HL4のドットライン投影面の距離をそれぞれ、「20メートル」、「10メートル」、「5メートル」、「3メートル」とする(
図9(B)参照)。
【0050】
更に、画像処理部11は、第1〜第4比較ラインHL1〜HL4のうち、最も上方に位置する第1比較ラインHL1よりも上方の範囲H1に属する画像ラインのそれぞれについては、第1比較ラインHL1のドットライン投影面の距離を、ドットライン投影面の距離とする。本ケースの場合、画像処理部11は、範囲H1に属する画像ラインのそれぞれのドットライン投影面の距離を「20メートル」とする(
図9(B)参照)。同様に、画像処理部11は、第1〜第4比較ラインHL1〜HL4のうち、最も下方に位置する第4比較ラインHL4よりも下方の範囲H5に属する画像ラインのそれぞれについては、第4比較ラインHL4のドットライン投影面の距離を、ドットライン投影面の距離とする。本ケースの場合、画像処理部11は、範囲H5に属する画像ラインのそれぞれのドットライン投影面の距離を「3メートル」とする(
図9(B)参照)。
【0051】
画像処理部11は、第1比較ラインHL1と第2比較ラインHL2とで囲まれた範囲H2に属する画像ラインのそれぞれについては、以下の方法でドットライン投影面の距離を決定する。すなわち、画像処理部11は、第1比較ラインHL1のドットライン投影面の距離と、第2比較ラインHL2のドットライン投影面の距離に基づいて線形補間を行ってドットライン投影面の距離を決定する。具体的には、画像処理部11は、
図9(B)の座標において、第1比較ラインHL1の投影面の距離に対応する点P1と、第2比較ラインHL2の投影面の距離に対応する点P2とを結んだ直線TT1を対象として、画像ライン毎に投影面の距離を線形補間によって算出し、算出した投影面の距離を、各画像ラインについてのドットライン投影面の距離として決定する。
【0052】
画像処理部11は、第2比較ラインHL2と第3比較ラインHL3とで囲まれた範囲H3に属する画像ラインのそれぞれ、および、第3比較ラインHL3と第4比較ラインHL4とで囲まれた範囲H4に属する画像ラインのそれぞれについても同様の方法でドットライン投影面の距離を決定する。画像処理部11は、以上のようにして全ての画像ラインについて、ドットライン投影面の距離を算出する。以上の処理が投影面距離決定処理である。
【0053】
投影面距離決定処理を実行した後、画像処理部11は、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成するドットラインである仮想ドットライン毎にドットライン対応関係情報を生成する。
図10(A)は、右側仮想カメラの仮想的な撮影画像、および、当該画像における死角領域DRを示す図である。
図10(B)は、所定の座標系に展開したリアカメラ撮影画像の領域を模式的に示している。以下、
図10を用いて、仮想ドットラインLX(
図10(A)参照)についてドットライン対応関係情報を生成するときに画像処理部11が実行する処理を説明する。
【0054】
まず、画像処理部11は、仮想ドットラインLXに対応する画像ライン(=仮想ドットラインLXが位置する画像ライン)について投影面距離決定処理にて決定したドットライン投影面の距離を認識する。本例では、仮想ドットラインLXに対応する画像ラインは画像ラインGLX(
図9(A)参照)であり、投影面距離決定処理にて決定したドットライン投影面の距離は、「4.25メートル」であるものとする。以下、仮想ドットラインLXに対応する画像ラインGLXについて投影面距離決定処理で決定したドットライン投影面の距離を単に「仮想ドットラインLXのドットライン投影面の距離」という。
【0055】
ここで、ルックアップテーブル記憶部13には、異なる複数の垂直投影面の距離に対応する複数の第1〜第10右側特定ルックアップテーブルが記憶されている。第N右側特定ルックアップテーブルは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲DHを仮想的に撮影することによって生成される撮影画像」に変換するために用いられるマッピングテーブルであり、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。本実施形態では、第1〜第10右側特定ルックアップテーブルはそれぞれ、視点変換に用いられる垂直投影面の距離が異なっている。第1〜第10右側特定ルックアップテーブルの垂直投影面の距離はそれぞれ、「0.5、1、2、3、4、5、7、10、20、30メートル」である(
図6参照)。
【0056】
さて、画像処理部11は、仮想ドットラインLXを構成する全てのドットについて、リアカメラ撮影画像の対応するドットのドット位置を以下の方法で特定する。すなわち、画像処理部11は、第N右側特定ルックアップテーブルのうち、垂直投影面の距離が、「仮想ドットラインLXのドットライン投影面の距離」よりも小さく、当該距離に最も近い距離であるルックアップテーブルを特定する。本例では、当該距離は「4.25メートル」であるため、画像処理部11は、垂直投影面の距離が「4メートル」の第5右側特定ルックアップテーブルを特定する。以下、ここで特定された第N右側特定ルックアップテーブルを「小側ルックアップテーブル」という。同様に、次いで、画像処理部11は、第N右側特定ルックアップテーブルのうち、垂直投影面の距離が、「仮想ドットラインLXのドットライン投影面の距離」よりも大きく、当該距離に最も近い距離であるルックアップテーブルを特定する。本例では、当該距離は「4.25メートル」であるため、画像処理部11は、垂直投影面の距離が「5メートル」の第6右側特定ルックアップテーブルを特定する。以下、ここで特定された第N右側特定ルックアップテーブルを「大側ルックアップテーブル」という。
【0057】
更に、画像処理部11は、小側ルックアップテーブルに係る垂直投影面の距離および仮想ドットラインLXのドットライン投影面の距離の差S1(絶対値)と、大側ルックアップテーブルに係る垂直投影面の距離および仮想ドットラインLXのドットライン投影面の距離の差S2(絶対値)との比を算出する。本例では、「差S1:差S2」=「1:3」(|4メートル−4.25メートル|:|5メートル−4.25メートル|)である。
【0058】
「差S1:差S2」を算出した後、画像処理部11は、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差S2:差S1」となるように、各テーブルを加工してドットライン対応関係情報を生成する。ドットライン対応関係情報は、仮想ドットラインLXに含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報である。
【0059】
ドットライン対応関係情報を生成する際に、仮想ドットラインLXのある特定のドット(「特定ドットDX」とする)について、リアカメラ撮影画像の対応するドット(「対応ドットDQ」とする)を特定する処理を、
図10(A)および
図10(B)を用いて詳述する。
図10(B)において、符号DYのドット(「小側ドットDY」とする)は、小側ルックアップテーブルにおいて、特定ドットDXと対応付けられているドットである。また、
図10(B)において、符号DZのドット(「大側ドットDZ」とする)は、大側ルックアップテーブルにおいて、特定ドットDXと対応付けられているドットである。以上の状況の下、画像処理部11は、リアカメラ撮影画像において、小側ドットDYと大側ドットDZを結ぶ線分において、以下の式SK1を満たすドットを対応ドットDQとする。
[式SK1] 小側ドットDYからの距離:大側ドットDZからの距離=差S1:差S2
【0060】
このようにして特定される対応ドットDQは、「小側ルックアップテーブルの反映度:大側ルックアップテーブルの反映度」=「差S2:差S1」となる。なお、ドットライン対応関係情報を生成する方法は、本実施形態で例示する方法に限られない。仮想ドットラインに対応するドットライン投影面の距離が適切に反映されて生成されればよい。
【0061】
画像処理部11は、以上のようにして仮想ドットラインLXを構成する全てのドットについて、リアカメラ撮影画像における対応するドットを特定し、仮想ドットラインLXに含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられたドットライン対応関係情報を生成する。
【0062】
以上の処理が仮想ドットラインLXについてのドットライン対応関係情報を生成するときの画像処理部11の処理である。画像処理部11は、右側仮想カメラの仮想的な撮影画像の死角領域DRを構成する仮想ドットラインの全てについて、仮想ドットライン毎にドットライン対応関係情報を生成する。
【0063】
全ての仮想ドットラインのドットライン対応関係情報を生成した後、画像処理部11は、仮想ドットライン毎に、対応するドットライン対応関係情報を用いてリアカメラ撮影画像を変換し、ドットライン補完画像を生成する。そして、画像処理部11は、生成したドットライン補完画像のそれぞれを、死角領域ラインDL(
図9参照)のそれぞれに重畳(補完)し、右側合成画像を生成する。上述したように、死角領域ラインDLは、死角領域DRを構成するドットラインである。
【0064】
図11(A)は、
図3(A)のリアカメラ撮影画像および
図3(B)の右サイドカメラ撮影画像に基づく合成画像生成処理により生成される右側合成画像を示している。ただし、
図11(A)は説明の便宜を考慮して、後述する
図11(B)との相違点が明らかとなるように、理想的な画像を模式的に示している。
図11(A)では、右サイドカメラ撮影画像に基づく画像と、リアカメラ撮影画像に基づく画像との境界に破線を引いているが、実際の合成画像には破線の画像は表示されない。
図11(A)に示すように、右側合成画像では、右サイドカメラ撮影画像の死角領域DRが、リアカメラ撮影画像に基づく画像によって補われた状態となる。リアカメラ撮影画像に基づく画像は、ドットライン補完画像の集合により成る画像である。
【0065】
以上が右側合成画像の生成に際して所定の周期で実行される合成画像生成処理である。画像処理部11は、所定の周期で合成画像生成処理を実行して右側合成画像を生成し、表示制御部12に出力する。詳細は省略するが、画像処理部12は、所定の周期で左側合成画像を生成する合成画像生成処理を実行し、生成した左側合成画像を表示制御部12に出力する。
【0066】
表示制御部12は、所定の周期で画像処理部11から合成画像(右側合成画像および左側合成画像)を入力し、右側合成画像を右モニター2Rに表示し、左側合成画像を左モニター2Lに表示する。この結果、右モニター2Rには、リアカメラ3および右サイドカメラ4Rの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーMRを視認したときに確認できる風景と同等の風景が、右サイドミラーMRを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター2Lについても同様である。
【0067】
次に、上述した方法で合成画像生成処理が行われることの意義、効果について説明する。
図11(B)は、
図3(A)のリアカメラ撮影画像に対して1つの距離(後続車両の前端部までの距離とする)の投影面を用いた視点変換を行って補完画像を生成した場合に生成される合成画像を示す図である。
【0068】
リアカメラ撮影画像に対して特定の距離の投影面を用いた視点変換を行って補完画像を生成した場合、リアカメラ3から当該特定の距離だけ離間している対象物については、補完画像とサイドカメラ撮影画像との境界において画像の連続性が保たれる。連続性が保たれるとは、ある対象物の画像について、境界で区切られた一方の領域と他方の領域とで対象物の大きさが大きく異なったり、対象物の同じ部分が両方の領域に重複して記録されたり、対象物の一部がどちらの領域にも記録されなかったりすることなく、一方の領域に表示された画像と、他方の領域に記録された画像とが整合をもって連続することを意味する。ただし、境界において対象物の連続性が保たれている状態には、境界を跨いで画像が一貫性をもって完璧に接続されている状態ではなく、ユーザーが視認したときに強い違和感を覚えない程度に対象物の画像が境界を跨いである程度整合的に連続している状態を含む。
【0069】
一方、リアカメラ撮影画像に対して特定の距離の投影面を用いた視点変換を行って補完画像を生成した場合において、当該特定の距離の投影面から外れた対象物については、境界において画像の連続性が保たれない。
図11(B)において、後続車両の前端部の面は、投影面の距離と等しい距離だけ離間した位置に位置している。従って、
図11(B)に示すように、後続車両の前端部の面の画像は、境界において連続性が保たれている。一方で、建物は、投影面の距離から外れた位置に位置している。このため、
図11(B)の範囲HN1に示すように、建物の画像は、境界において連続性が保たれない。そして、建物の画像が境界において連続性が保たれないことに起因して、
図11(B)の右側合成画像が右モニター2Rに画面として表示された場合、その画面を視認するユーザーが、違和感を覚えてしまう可能性がある。
【0070】
一方、本実施形態では、合成画像の境界の全域にわたって画像の連続性をできるだけ保つことができる。すなわち、本実施形態では、画像ライン毎に、連続範囲QHについてサイドカメラ撮影画像と、リアカメラ撮影画像を画像変換して生成した画像の一致度が反映されて投影面(ドットライン投影面)の距離が決定された上で、画像ライン毎に、決定された距離の投影面を用いてリアカメラ撮影画像に対して画像変換が行われて生成された画像(ドットライン補完画像)が補完されることによって合成画像が生成される。
【0071】
このため、死角領域DRに合成される画像について、上下方向の全域にわたって各ドットラインの画像が、上記一致度を反映した投影面が用いられて生成された画像となり、上述した従来のように単一の投影面を用いることにより部分的に障害物までの実距離と投影面との距離を一致させて合成画像が生成された場合と比較して、合成画像の境界の全域にわたって画像の連続性をできるだけ保つことができる。
【0072】
また、本実施形態では、画像処理部11は、比較対象画像として、「0.5、1、2、3、4、5、7、10、20、30メートル」の垂直投影面を用いた10個の比較対象画像を生成する。このように、画像処理部11は、投影面の距離が大きくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を大きくする。つまり、比較対象画像の生成に用いられる投影面の距離の間隔は、「0.5メートル」→「1メートル」→「2メートル」→「3メートル」→「10メートル」と、投影面の距離が大きいほど大きくなっている。これは以下の理由による。
【0073】
すなわち、投影面の距離が小さければ小さいほど、投影面の距離を一単位だけ大きくしたときに生成される比較対象画像の内容の変化が大きい。例えば、「0.5メートル」の投影面を用いて生成される比較対象画像の内容と、「1メートル」の投影面を用いて生成される比較対象画像の内容との変化の度合いは、「20メートル」の投影面を用いて生成される比較対象画像の内容と、「20.5メートル」の投影面を用いて生成される比較対象画像の内容との変化の度合いと比較して大きい。
【0074】
これを踏まえ、投影面の距離が大きくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を大きくすることにより、換言すれば、投影面の距離が小さくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を小さくすることにより、投影面の距離の変化に対する比較対象画像の変化の度合いが大きいほど、細かい間隔で一致度を検証することができ、本来最も一致度を最大化させる投影面の距離と、最終的に決定される投影面の距離との乖離が大きくなってしまうリスクをできるだけ低減でき、投影面の距離を適切に決定することができる。また、投影面の距離が大きくなるほど、比較対象画像の生成に用いる投影面の距離の間隔を大きくすることにより、投影面の距離の変化に対する比較対象画像の変化の度合いが小さいのにもかかわらず、不必要に細かい間隔でルックアップテーブルがルックアップテーブル記憶部13に記憶されることを防止でき、記憶すべきデータのデータ量の削減、および、記憶領域の効率的活用を実現できる。
【0075】
次に、本実施形態に係る画像処理装置1の動作例についてフローチャートを用いて説明する。
図12のフローチャートFAは、画像処理装置1がリアカメラ3およびサイドカメラ4R,4Lによる撮影画像の出力に応じて、所定の周期で実行する処理の一例を示すフローチャートである。
【0076】
図12に示すように、画像処理装置1の撮影画像取得部10は、リアカメラ3およびサイドカメラ4R,4Lのそれぞれから撮影画像を入力し、取得する(ステップSA1)。画像処理部11は、撮影画像取得部10により取得された各カメラの撮影画像に基づいて合成画像生成処理を実行し、合成画像(右側合成画像および左側合成画像)を生成する(ステップSA2)。合成画像生成処理については後にフローチャートを用いて詳述する。表示制御部12は、画像処理部11が生成した右側合成画像を右モニター2Rに表示すると共に、左側合成画像を左モニター2Lに表示する(ステップSA3)。
【0077】
図13のフローチャートFBは、画像処理部11が実行する合成画像生成処理の詳細を示すフローチャートである。特に、
図13では、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成するときの合成画像生成処理の詳細を示している。
【0078】
図13に示すように、画像処理部11は、第1〜第10比較対象画像生成用ルックアップテーブルのそれぞれを用いて、リアカメラ撮影画像を、第1〜第10比較対象画像のそれぞれに変換する(ステップSB1)。次いで、画像処理部11は、右サイドカメラ撮影画像から連続領域画像を抽出する(ステップSB2)。次いで、画像処理部11は、第1〜第10比較対象画像のそれぞれについて、比較対象ドットライン毎に、連続領域画像の基準ドットラインとの一致度を算出する(ステップSB3)。ステップSB3の処理は、一致度算出処理に相当する。
【0079】
次いで、画像処理部11は、第1〜第4比較ラインHL1〜HL4毎に、第1〜第10比較対象画像のうち、最も一致度が高かった比較対象画像を特定する(ステップSB4)。次いで、画像処理部11は、第1〜第4比較ラインHL1〜HL4についは、一致度算出処理において最も一致度が高いと特定した比較対象画像の投影面の距離を、ドットライン投影面の距離とする(ステップSB5)。更に、画像処理部11は、第1〜第4比較ラインHL1〜HL4のドットライン投影面の距離に基づいて、他の画像ラインについてのドットライン投影面の距離を家手治する(ステップSB6)。ステップSB6において、上述した通り、画像処理部11は、2つの異なる比較ラインに囲まれた範囲に属する画像ラインについては、当該2つの異なる比較ラインについて決定された投影面の距離に基づいて線形補間を行って投影面の距離を決定する。ステップSB5およびステップSB6の処理は投影面距離決定処理に相当する。
【0080】
次いで、画像処理部11は、仮想ドットライン毎にドットライン対応関係情報を生成する(ステップSB7)。次いで、画像処理部11は、仮想ドットライン毎にドットライン対応関係情報を用いてドットライン補完画像を生成する(ステップSB8)。次いで、画像処理部11は、ドットライン補完画像のそれぞれを死角領域DRの対応する死角領域ラインDLに重畳(補完)することによって右側合成画像を生成する(ステップSB9)。
【0081】
<本実施形態の変形例>
次に、本実施形態の変形例について説明する。上述した本実施形態では、画像処理部11は、画像ライン毎のドットライン投影面の距離の決定に際し、以下の処理を行った。すなわち、画像処理部11は、比較対象ドットラインと基準ドットラインと一致度に基づいて、第1〜第4比較ラインHL1〜HL4毎にドットライン投影面の距離を決定し、比較ライン以外の画像ラインについては、比較ラインのドットライン投影面の距離に基づいて、ドットライン投影面の距離を決定した。この点に関し、画像処理部11が以下の処理を実行する構成でもよい。
【0082】
すなわち、画像処理部11は、第1〜第10比較対象画像を生成した後、比較ラインだけではなく、全ての画像ラインについて、各比較対象画像の連続領域QRにおけるドットラインと、連続領域画像の連続領域QRにおけるドットラインとの一致度を算出する。更に、画像処理部11は、画像ラインのそれぞれについて、最も一致度が高い比較対象画像を生成するときに用いた投影面の距離を特定する。そして、画像処理部11は、画像ラインのそれぞれについて、特定した投影面の距離を、ドットライン投影面の距離として特定する。以上のように、本変形例に係る画像処理部11は、比較対象画像のそれぞれと、連続領域画像とについて、全てのドットラインの一致度を算出し、ドットラインのそれぞれについて最も一致度が高い比較対象画像を生成するときに用いた投影面の距離を、画像ラインのそれぞれについての投影面の距離として決定する。
【0083】
本変形例によれば、比較ライン以外の画像ラインのドットライン投影面の距離が、線形補間によって決定されるのではなく、実際に一致度が算出された上で、算出された一致度に基づいて決定されるため、画像ラインのそれぞれのドットライン投影面の距離を、実際に算出される一致度を反映した値とすることができる。なお、本実施形態では、比較対象画像を生成するためのルックアップテーブルとして、投影面の距離が異なる10個の第1〜第10比較対象画像生成用ルックアップテーブルが用意されていたが、本変形例では、比較対象画像を生成するためのルックアップテーブルの投影面の距離をより細かくするほど、各画像ラインについてのドットライン投影面の距離を精度の高いものとすることができる。
【0084】
以上、本発明の実施形態を変形例を含め説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。
【0085】
例えば、サイドカメラ撮影画像における連続領域QRの形状は上記実施形態で例示した形状に限られない。一例として、連続領域QRは、死角領域DR側の辺が、死角領域DRに接した状態で延在する帯状の領域であってもよい。
【0086】
また、上記実施形態では、リアカメラ3が魚眼カメラにより構成され、サイドカメラ4R,4Lが標準カメラにより構成されていたが、リアカメラ3やサイドカメラ4R,4Lをどのようなカメラにより構成するかは、上記実施形態の例に限定されない。
【0087】
また、上記実施形態では、合成画像を表示する表示装置は、右モニター2Rおよび左モニター2Lであった。しかしながら、合成画像を表示する表示装置は、右モニター2Rおよび左モニター2Lに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーMRおよび左サイドミラーMLに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。
【0088】
また、サイドカメラ4R,4Lの自車両における設置位置は、上記各実施形態で例示した位置に限られない。例えば、サイドカメラ4R,4Lは、車両の側面であって、車両の前端に近い位置に設けられてもよい。