特開 2024-124195 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024124195

(43)【公開日】2024-09-12

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   H04N 23/698 20230101AFI20240905BHJP

   H04N 7/18 20060101ALI20240905BHJP

   H04N 23/60 20230101ALI20240905BHJP

   G06T 1/00 20060101ALI20240905BHJP

【ＦＩ】

H04N23/698

H04N7/18 J

H04N23/60 500

G06T1/00 330A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023032195

(22)【出願日】2023-03-02

(71)【出願人】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(71)【出願人】

【識別番号】714003531

【氏名又は名称】カムイ・イノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】山田 貴洋

(72)【発明者】

【氏名】石塚 博基

(72)【発明者】

【氏名】沢田 保宏

(72)【発明者】

【氏名】カントラ ラッセ

【テーマコード（参考）】

5B057

5C054

5C122

【Ｆターム（参考）】

5B057AA16

5B057CE10

5C054CA04

5C054CC02

5C054FE17

5C054HA30

5C122DA14

5C122EA40

5C122EA67

5C122FA02

5C122FA18

5C122FH05

5C122FH11

5C122FH14

5C122FH20

5C122HB01

(57)【要約】

【課題】複数の画像を合成する際に、画像のズレ又は乱れの発生を抑制した画像処理装置及び画像処理プログラムを提供すること。
【解決手段】本開示の画像処理装置は、車両に搭載された複数の撮像装置により撮像するときに、相互の撮像領域の一部が重なるように撮像した複数の画像を合成して、広視野画像を生成するものであって、前記複数の撮像装置で撮像した前記複数の画像を取得可能な取得部と、前記複数の撮像装置が撮像する複数の画像内の前記車両が走行する路面に該当する領域に関する情報を含む路面情報が格納された路面情報格納部と、前記路面情報に基づいて、前記取得部で取得した前記複数の画像が重なるオーバーラップ部内の路面に該当する領域を特定し、前記路面に該当する領域の画素情報を補正する補正部と、前記複数の画像を合成する合成部と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両に搭載された複数の撮像装置により撮像するときに、相互の撮像領域の一部が重なるように撮像した複数の画像を合成して、広視野画像を生成する画像処理装置であって、
前記複数の撮像装置で撮像した前記複数の画像を取得可能な取得部と、
前記複数の撮像装置が撮像する複数の画像内の前記車両が走行する路面に該当する領域に関する情報を含む路面情報が格納された路面情報格納部と、
前記路面情報に基づいて、前記取得部で取得した前記複数の画像が重なるオーバーラップ部内の路面に該当する領域を特定し、前記路面に該当する領域の画素情報を補正する補正部と、
前記複数の画像を合成する合成部と、を備える、
画像処理装置。

【請求項2】

前記合成部は、
前記オーバーラップ部に対して、少なくとも１つの仮想視点を設定する仮想視点設定部と、
前記仮想視点設定部で設定された仮想視点に対する画像を、前記複数の画像から補間して生成する補間画像生成部と、
前記補間画像生成部で生成した補間画像と、前記複数の画像のうち前記オーバーラップ部を除く画像とを連結する連結部と、を備える、
請求項１に記載の画像処理装置。

【請求項3】

前記路面情報は、前記路面に該当する領域の視差情報を含み、
前記補正部は、前記路面情報に基づいて、前記路面に該当する領域の画素情報内の視差情報を補正する、
請求項１に記載の画像処理装置。

【請求項4】

前記視差情報は、前記撮像装置から対象物までの距離に関する情報を含み、
前記補正部は、前記路面に該当する領域の画素情報のうち、前記路面に該当する領域の画素情報内の視差情報で特定される距離が前記路面情報内の前記視差情報で特定される距離以上となる画素情報内の視差情報を補正する、
請求項３に記載の画像処理装置。

【請求項5】

前記複数の画像から前記路面の特徴点を抽出し、前記路面情報を更新する路面情報更新部を更に備える、
請求項１に記載の画像処理装置。

【請求項6】

コンピュータを、
請求項１乃至請求項５のいずれか１項に記載の画像処理装置として動作させる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置及び画像処理プログラムに関するものである。

【背景技術】

【0002】

車両等に間隔を空けて設置された２台以上のカメラが撮像した画像を合成することで、広視野画像を生成することが行われている。このような画像の合成に際しては、予め定めた仮想スクリーン（投影位置）を基準として画像のずれを補正するのが一般的である。

【0003】

下記特許文献１には、複数の撮像装置により撮影するときに、相互の撮影領域が重なるオーバーラップ部が形成されるように撮影した複数の画像を合成する際、オーバーラップ部に対応するように設定された仮想視点に対する画像を複数の撮像装置で撮影した画像から補間して生成することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－６７９７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１のもののように、２つの画像から補間画像を生成する際、オーバーラップ部に映った物体のうち、特徴が明確な物体、例えば、境界が特定しやすい他の車両等に関しては、当該物体の対応関係を特定しやすいためノイズが含まれにくく、ズレや乱れのない合成画像を生成することが比較的容易である。他方、特徴が相対的に少ない物体、特に、車両が走行する路面や路面に形成された同一形状が連続する白線は、物体の対応関係を特定する際にノイズが含まれ易く、合成した際に画像のズレや乱れが発生しやすい傾向がある。

【0006】

本開示は、上述した課題に鑑み、複数の画像を合成する際に、画像のズレ又は乱れの発生を抑制した画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１の態様に係る画像処理装置は、車両に搭載された複数の撮像装置により撮像するときに、相互の撮像領域の一部が重なるように撮像した複数の画像を合成して、広視野画像を生成する画像処理装置であって、前記複数の撮像装置で撮像した前記複数の画像を取得可能な取得部と、前記複数の撮像装置が撮像する複数の画像内の前記車両が走行する路面に該当する領域に関する情報を含む路面情報が格納された路面情報格納部と、前記路面情報に基づいて、前記取得部で取得した前記複数の画像が重なるオーバーラップ部内の路面に該当する領域を特定し、前記路面に該当する領域の画素情報を補正する補正部と、前記複数の画像を合成する合成部と、を含む。

【0008】

上記のような画像処理装置においては、画像内の路面に該当する領域を正確に特定することができ、撮像装置から画像に映った路面までの距離等を誤って認識することがなくなる。そして、合成した画像にズレや乱れが生じにくくなる。

【0009】

本開示の第２の態様に係る画像処理装置は、上記本開示の第１の態様に係る画像処理装置において、前記合成部は、前記オーバーラップ部に対して、少なくとも１つの仮想視点を設定する仮想視点設定部と、前記仮想視点設定部で設定された仮想視点に対する画像を、前記複数の画像から補間して生成する補間画像生成部と、前記補間画像生成部で生成した補間画像と、前記複数の画像のうち前記オーバーラップ部を除く画像とを連結する連結部と、を含む。

【0010】

上記のような画像処理装置においては、合成に際して仮想視点を設けることで、被写体の二重像が発生する、又は被写体が消失するといった不具合のない広視野画像を得ることができる。

【0011】

本開示の第３の態様に係る画像処理装置は、上記本開示の第１又は第２の態様に係る画像処理装置において、前記路面情報は、前記路面に該当する領域の視差情報を含み、前記補正部は、前記路面情報に基づいて、前記路面に該当する領域の画素情報内の視差情報を補正する。

【0012】

上記のような画像処理装置においては、補正部により路面に該当する領域の視差情報が適正に補正されるため、画像を合成した際、路面に該当する領域にノイズが含まれることを抑制できる。

【0013】

本開示の第４の態様に係る画像処理装置は、上記本開示の第３の態様に係る画像処理装置において、前記視差情報は、前記撮像装置から対象物までの距離に関する情報を含み、
前記補正部は、前記路面に該当する領域の画素情報のうち、前記路面に該当する領域の画素情報内の視差情報で特定される距離が前記路面情報内の前記視差情報で特定される距離以上となる画素情報内の視差情報を補正する。

【0014】

上記のような画像処理装置においては、撮像装置から路面に該当する領域までの距離を誤って認識した場合に、補正によって適正な距離に近づけることができる。

【0015】

本開示の第５の態様に係る画像処理装置は、上記本開示の第１乃至第４のいずれかの態様に係る画像処理装置において、前記複数の画像から前記路面の特徴点を抽出し、前記路面情報を更新する路面情報更新部を更に含む。

【0016】

上記のような画像処理装置においては、走行中の路面の特徴に沿った補正を実現することができる。

【0017】

本開示の第６の態様に係る画像処理プログラムは、コンピュータを、第１乃至第５のいずれかに記載の画像処理装置として動作させる。

【0018】

上記のような画像処理プログラムにおいては、補正部によって路面に該当する領域の情報が補正されるため、合成した画像にズレや乱れが生じにくくなる。

【発明の効果】

【0019】

本開示の画像処理装置及び画像処理プログラムによれば、複数の画像を合成する際に、画像のズレ又は乱れの発生を抑制できる。

【図面の簡単な説明】

【0020】

【図1】本開示の一実施の形態に係る画像処理装置のハードウェア構成の一例を示した概略構造図である。

【図2】図１に示す画像処理装置に適用された２台の撮像装置を光軸に交差する方向から見た説明図である。

【図3】図１に示す画像処理装置のソフトウェア構成の一例を示した概略ブロック図である。

【図4】図１に示す画像処理装置を用いた画像処理のプロセスの一例を示したフローチャートである。

【図5】図１に示す２つのカメラが同一のタイミングで撮像した撮影画像の一例を示した図である。

【図6】図５に示す２つの撮影画像を合成した広視野画像の一例を示した図である。

【発明を実施するための形態】

【0021】

以下、図面を参照して本開示を実施するための各実施の形態について説明する。なお、以下では本開示の目的を達成するための説明に必要な範囲を模式的に示し、本開示の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。また、図中の互いに同一又は相当する部材には同一あるいは類似の符号を付し、重複した説明は省略する。さらに、一の図面中に互いに同一又は相当する部材が複数個含まれている場合には、図を見易くするために、そのうちのいくつかにのみ符号を付している場合がある。

【0022】

図１は、本開示の一実施の形態に係る画像処理装置のハードウェア構成の一例を示した概略構造図である。本実施の形態に係る画像処理装置１は、例えば車両に搭載された複数の撮像装置の一例としてのカメラのうち、車両の幅方向に所定の隙間を空けて隣接配置された２つのカメラ（具体的には、後述するＬカメラ２とＲカメラ３）が撮像した撮影画像を合成して広視野画像を生成することが可能なものであってよい。また、生成された広視野画像は、例えば車両内に搭載されたモニタ（具体的には、後述するモニタ４）に表示することができる。当該広視野画像は、ユーザ、例えば車両の運転者の視野の補助となり得る画像であることが好ましい。このような画像としては、例えば車両の後方視界を挙げることができる。

【0023】

本実施の形態に係る画像処理装置１は、例えばマイクロコントローラを含む周知のコンピュータで構成することができる。より具体的には、車両に搭載されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の少なくとも一部で構成することができる。この画像処理装置１は、図１に示すように、少なくとも、プロセッサ１１と、メモリの一例としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ストレージ１４と、入出力インタフェース１５とを含んでいてよい。また、これらの構成は、内部バスを介して相互に通信可能に接続されていてよい。

【0024】

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成することができ、各種プログラムを実行したり、各部を制御したりすることができるものであってよい。具体的にいえば、このプロセッサ１１は、ＲＯＭ１２又はストレージ１４に格納されている種々のプログラムを読み出し、ＲＡＭ１３を作業領域として当該プログラムを実行することができるものであってよい。プロセッサ１１は、プログラムに従って画像処理装置１を構成する各構成要素の制御や各種の演算処理を行うことができるものであってよい。

【0025】

ＲＯＭ１２は、各種プログラム及び各種データを格納することができるものであってよい。また、ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶することができるものであってよい。

【0026】

ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリといった記録媒体で構成することができる。このストレージ１４には、オペレーティングシステムを含む各種プログラムや、画像処理装置１を動作させるために必要な各種データ（例えば、路面情報）が格納されていてよい。本実施の形態においては、ＲＯＭ１２又はストレージ１４には、各カメラで撮像された撮影画像から広視野画像を生成するための画像処理プログラムや各種データが格納され得る。

【0027】

入出力インタフェース１５は、Ｌカメラ２及びＲカメラ３から撮影画像１１２、１１３（図５参照）を取得し、広視野画像２００（図６参照）をモニタ４へ送信することが可能なものであってよい。具体的には、入出力インタフェース１５は、少なくともＬカメラ２、Ｒカメラ３及びモニタ４に有線又は無線通信を介して接続され、相互にデータ通信が可能とされたものであってよい。

【0028】

図２は、図１に示す画像処理装置に適用された２台の撮像装置を光軸に交差する方向から見た説明図である。Ｌカメラ２及びＲカメラ３は、図２に示すように、車両に搭載された複数の撮像装置の一例であって、特に、その撮像領域の一部が重なるように撮像する２つのカメラを指すものである。図２には、Ｌカメラ２及びＲカメラ３が車両の後方に設置されたステレオカメラであるものが例示されている。

【0029】

Ｌカメラ２及びＲカメラ３には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を用いた二次元カメラを用いることができる。なお、Ｌカメラ２はＲカメラ３に対して相対的に車両左側に位置するカメラを指し、Ｒカメラ３はＬカメラ２に対して相対的に車両右側に位置するカメラを指すものとする。また、本実施の形態では、Ｌカメラ２とＲカメラ３とはその配置を除いて同様のカメラを採用したものを例示しているが、機能やサイズ等が異なっていてもよい。

【0030】

また、Ｌカメラ２及びＲカメラ３は、図２に示すように、それぞれの光軸が平行ではなく、互いに外向きとなっており、Ｌカメラ２及びＲカメラ３の視界を異ならせることがより広い視野の広視野画像を得られる点で好ましい。なお、図２ではＬカメラ２及びＲカメラ３のそれぞれの光軸を互いに外向きとしたが、平行であってもよい。

【0031】

Ｌカメラ２の撮像領域１０２とＲカメラ３の撮像領域１０３とは一部重複している。したがって、これらが撮像する撮影画像には、オーバーラップ部１０４（図２参照）が存在する。本実施の形態に係る画像処理装置１では、当該オーバーラップ部１０４の画像を合成するに際し、ズレや乱れの発生を抑制することができる。なお、図２に示した各カメラの撮像領域１０２、１０３は、広視野画像の生成に用いられる撮像領域の一例を示しているが、各カメラの視野範囲（換言すると、撮像可能な画角）は、これら撮像領域１０２、１０３よりも広角であってよい。また、具体的な画像の合成のプロセスについては後述する。

【0032】

モニタ４は、画像処理装置１にて生成された広視野画像をユーザ、例えば車両の運転者に提供するためのものであってよい。このモニタ４は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ、ＯＥＬＤ）といった周知のディスプレイ装置と、当該ディスプレイ装置に所望の画像を表示するための表示ドライバとで構成することができる。モニタ４は、例えば車両内のルームミラーに代えて、あるいは車両内のインストルメントパネル内の適所に配設されていてよい。

【0033】

図３は、図１に示す画像処理装置のソフトウェア構成の一例を示した概略ブロック図である。本実施の形態に係る画像処理装置１は、図３に示すように、少なくとも、Ｌカメラ２及びＲカメラ３で撮像した複数の画像を取得可能な取得部２１と、Ｌカメラ２及びＲカメラ３が撮像する複数の画像内の、車両が走行する路面に該当する領域に関する情報を含む路面情報が格納された路面情報格納部２２と、路面情報に基づいて取得部２１で取得した複数の画像が重なるオーバーラップ部１０４内の路面に該当する領域を特定し、路面に該当する領域の画素情報を補正する補正部２３と、複数の画像を合成する合成部２４と、を含む。また、本実施の形態に係る画像処理装置１は、上述した構成に加えて、モニタ４へ合成部２４にて合成した画像（広視野画像）を出力する出力部２５をさらに含んでいてよい。

【0034】

取得部２１及び出力部２５は、主に入出力インタフェース１５によって実現することができる。取得部２１にて取得した撮像画像は、合成画像を生成するために合成部２４内の各所に送られるものであり、合成部２４で生成された合成画像は、出力部２５からモニタ４に送られてユーザに広視野画像として提供することができる。

【0035】

路面情報格納部２２は、路面情報、特に各カメラで撮像される路面に関連する情報が格納されたものであってよく、主にストレージ１４及び／又はＲＯＭ１２によって実現することができる。この路面情報格納部２２に格納された路面情報は、カメラと路面との間の距離に関する情報を少なくとも含む。路面情報は、例えば各カメラの校正時に、各カメラの設置位置やカメラから路面までの距離等を測定又は算出することによって収集することができるが、路面情報の収集方法は特に限定されない。また、この路面情報は、補正部２３において画像を補正する際に用いられるものである。

【0036】

本実施の形態においては、路面情報は、各カメラの撮像領域１０２、１０３に含まれる路面の視差値（視差情報の一例）で構成されるものを例示する。なお、視差値とは、共通の対象物を撮影した２つの画像を、ステレオマッチングとよばれる手法を用いることで対象物の奥行を推定する際に、同一の対象物が映った点（画素）同士の間の距離を画素数で表した値である。この視差値は、対象物との距離と相関があり、対象物が遠くなるにしたがって値が小さくなる。したがって、視差値は、カメラから対象物までの距離に関する情報を含むものといえる。なお、路面情報は上述した視差値以外の情報で構成されていてもよい。

【0037】

上述した通り、路面情報は、カメラから路面までの距離に関連する情報で構成されるものであるが、車両が走行する路面の状況（例えば路面が全体的に左右に傾斜している場合）によって当該距離は変化し得る。そこで、本実施の形態に係る画像処理装置１は、実際に車両が走行している路面の特徴点を抽出し、その特徴点に基づいて路面情報を更新することが可能な路面情報更新部２６をさらに含んでいると好ましい。

【0038】

路面情報更新部２６は、車両走行時等に走行中の路面の特徴点を検出することで、路面情報を更新することができるものであってよい。ここで、路面の特徴点とは、例えば路面の傾斜角度や路面状況であってよい。そして、当該路面の特徴点の検出は、例えば周知の白線検知の技術等を応用することで実現することができる。

【0039】

補正部２３は、オーバーラップ部１０４内であって且つ撮影画像内の路面に該当する領域を特定し、且つ当該路面に該当する領域の画素情報を補正するものである。補正部２３による補正には、路面情報格納部２２に格納された路面情報が用いられる。本実施の形態では、補正部２３は、合成部２４に含まれる、後述する補間画像生成部３２の一部として機能するものを例示している。以下、補正部２３により補正された後のオーバーラップ部１０４の画像を補正画像ともいう。

【0040】

より詳しくは、補正部２３は、オーバーラップ部１０４内であって且つ撮影画像内の路面に該当する領域の画素情報のうち、路面に該当する領域の画素情報内の視差情報で特定される距離が、路面情報内の視差情報で特定される距離以上となる画素情報内の視差情報を補正するものであってよい。なお、補正部２３による補正のプロセスについては後に詳述する。

【0041】

ところで、オーバーラップ部１０４の合成画像を生成する際、Ｌカメラ２の画像情報とＲカメラ３の画像情報とを単純に合成すると、相互の視差に起因して、仮想スクリーン１００の奥側の被写体が二重にみえる（二重像）現象が発生する場合がある。二重像は、Ｌカメラ２とＲカメラ３との間隔（距離）に依存する。また、Ｌカメラ２の画像情報とＲカメラ３の画像情報とを単純に合成すると、撮像領域１０２、１０３が扇状に形成されるために、仮想スクリーン１００よりも手前側に死角領域１０６（図２参照）が形成される。

【0042】

本実施の形態に係る画像処理装置１では、Ｌカメラ２の撮影画像とＲカメラ３の撮影画像とから、視差を調整した仮想的な視点での画像を生成し、二重像の発生、及び死角領域１０６を軽減するものを例示する。なお、視点の生成は等間隔でもよいが、視点間隔を狭くすることで、つなぎ目を目立たなくすることができる。さらに、生成される画像（補間画像）のうち、Ｌカメラ２の撮影画像のオーバーラップ部１０４以外の部分と連結される側では、仮想視点をＬカメラ２の位置近傍とし、生成される広視野画像のＲカメラ３の撮影画像のオーバーラップ部１０４以外の部分と連結される側では、仮想視点をＲカメラ３の位置近傍とすることで、画像連結部で結合される部分での繋ぎ目を目立たなくすることができる。

【0043】

上述した画像の生成を行うために、画像処理装置１内の合成部２４は、オーバーラップ部１０４に対して、少なくとも１つの仮想視点を設定する仮想視点設定部３１と、仮想視点設定部３１で設定された仮想視点に対する画像を生成する補間画像生成部３２と、補間画像生成部３２で生成した補間画像と、複数の画像のうちオーバーラップ部１０４を除く画像とを連結する連結部３３と、を含むものとすることができる。

【0044】

Ｌカメラ２及びＲカメラ３は、それぞれ画像処理装置１の補間画像生成部３２に取得部２１を介して接続されていてよい。加えて、補間画像生成部３２では、例えば仮想視点設定部３１からの指示に基づいて、Ｌカメラ２とＲカメラ３との間に仮想的な視点を生成し、当該仮想的な視点からみた画像を補間画像として生成することができる。

【0045】

換言すると、Ｌカメラ２とＲカメラ３との間には、図２に示すように、各視点で補間画像を撮影する仮想カメラ１１０が設置されているということができる。仮想カメラ１１０の数は、仮想視点設定部３１によって指示されるものであってよい。仮想カメラ１１０の数は１以上であり、実用的な最大数は、生成されるオーバーラップ部１０４の画像幅に依存する。この場合、生成画像の１画素幅毎に異なる仮想視点が設定される。仮想カメラ１１０の数の設定は、Ｌカメラ２及びＲカメラ３で撮影する被写体や精度条件（例えば、二重像のずれ幅の制限）等によって定めればよい。

【0046】

仮想視点設定部３１は、補間画像生成部３２に接続され、Ｌカメラ２及びＲカメラ３で撮影した画像に基づいて、仮想カメラ１１０の数及び位置を決定することができるものであってよい。視点位置は、Ｌカメラ２の位置とＲカメラ３の位置の内分比をｔ：１－ｔとする値ｔで示すことができ、オーバーラップ部１０４の各画素（ｘ，ｙ）にそれぞれ対応するｔを示すマップｔ（ｘ，ｙ）として、視点位置情報を補間画像生成部３２の適所（具体的には、視差検出部４１及び画像混合部４４）に搬出することができる。

【0047】

上述したｔは、０～１の数値（小数）であってよく、例えば、ｔ＝０はＬカメラ２の位置に、ｔ＝１はＲカメラ３の位置にそれぞれ対応するものとすることができる。したがって、生成される画像のうち、連結部３３でＬカメラ２単独で撮影された領域の画像（図５及び図６に示すＬ側画像１２２）に連結される側では０に近い値をとり、反対に、Ｒカメラ３単独で撮影された領域の画像（図５及び図６に示すＬ側画像１２３）に連結される側では１に近い値をとり、その間は連続的に変化する。例えば中間位置ではｔ＝０．５となる。

【0048】

補間画像生成部３２では、設定された仮想カメラ１２０の数に応じて生成された補間画像（図２に示した、仮想カメラ光軸（視点）群１０８参照）を連結部３３へ送出する。なお、補間画像生成部３２における各仮想視点の画像の生成処理には、例えば、視点補間（ｖｉｅｗｐｏｉｎｔ ｉｎｔｅｒｐｏｌａｔｉｏｎ）技術が適用可能である。

【0049】

連結部３３には、補間画像に加えて、Ｌカメラ２及びＲカメラ３の撮影画像も入力されると好ましい。この連結部３３では、Ｌカメラ２の撮影画像、Ｒカメラ３の撮影画像及び複数の補間画像を連結することで、合成画像、すなわち広視野画像を生成することができる。

【0050】

連結部３３で連結することで生成された広視野画像は、出力部２５へ出力され、前述したようにモニタ４に表示される。

【0051】

補間画像生成部３２は、図３に示すように、視差検出部４１と、視差調整部４２と、画像変形部４３と、画像混合部４４とを含むものであってよい。加えて、上述した補正部２３は、この補間画像生成部３２の一部として機能し得るものであってよい。以下、補間画像生成部３２について詳細に説明する。

【0052】

Ｌカメラ２及びＲカメラ３で撮影された撮影画像は、取得部２１により取得され、それぞれ補間画像生成部３２内の視差検出部４１に入力される。加えて、この視差検出部４１には、仮想視点設定部３１からの視点指示情報が入力される。

【0053】

視差検出部４１では、以下の式（１）及び式（２）に基づいて、Ｌカメラ２とＲカメラ３との撮影画像の視差マップｄを演算する。なお、ｘ、ｙは、二次元の画像の座標である。Ｌカメラ２を基準とした視差マップｄ（ｘ，ｙ）は、次のように求めることができる。

【数1】

【0054】

この視差マップｄ（ｘ，ｙ）は、Ｌカメラ２の撮影画像の各画素Ｌ（ｘ，ｙ）を、－ｄ（ｘ，ｙ）画素幅だけ横に移動した際にＲ画像と一致するような値のマップである。換言すると、視差マップは、画素数を単位とした視差値を画像で表したものである。実際には数学的に完全に一致するわけではなく、ステレオマッチングによって算出される。ステレオマッチングにはブロックマッチングやセミグローバルブロックマッチング等各種手法が存在するが、本実施の形態ではステレオマッチングの具体的な手法については何ら限定されない。

【0055】

同様に、Ｒカメラ３を基準とした視差マップｄ（ｘ，ｙ）は、次のように求めることができる。

【数2】

【0056】

式（１）はＬカメラ２を基準とした視差であり、式（２）はＲカメラ３を基準とした視差であり、双方とも、ほぼ計算結果は一致する。しかし、Ｌカメラ２でしか撮影されない領域、Ｒカメラ３でしか撮影されない領域等の存在を考慮して、式（１）及び式（２）を併用するとよい。

【0057】

視差検出部４１により演算された視差マップｄ（ｘ，ｙ）は、上述した通り、視差値を画像で表したものである。視差値は、特徴のある対象物のものを算出する場合に比べて、特徴のない対象物のものを算出する場合の方がノイズの影響を受けやすい。特に、単色で比較的大きな領域を占める、あるいは単純な模様が連続する路面部分においては、視差値の高精度な算出は容易ではない。そこで、本実施の形態に係る画像処理装置１では、合成を行う撮影画像中の路面部分に対して、補正部２３による補正を実施することで、路面部分の合成画像にズレや乱れが生じることを抑えている。

【0058】

具体的には、補正部２３は、先ず撮像画像内から路面に該当する領域を特定する。路面に該当する領域の特定は、例えば各カメラの画角、カメラの取付位置及びカメラの取付角度を特定することで、計算により実施することができる。次に、補正部２３は、路面情報格納部２２に格納された路面情報としての視差値を、特定した路面に該当する領域の各画素情報として算出される視差値の下限値として参照し、路面に該当する領域において算出された視差値が当該下限値よりも大きいか否かを判断する。路面に該当する領域において算出された視差値が上述した下限値よりも大きい場合は、正しい視差値が算出されているものと判断し、下限値以下の場合は、誤った視差値が算出されているものとして、算出された視差値を下限値、すなわち路面情報格納部２２に格納された路面の視差値に置き換える。一連の作業は、路面に該当する領域の各画素に対して実行される。

【0059】

上述した補正を行うことにより、補正画像に含まれる路面に該当する領域の視差値は、路面の視差値以上となるため、路面までの距離を、誤って実際の距離よりも大きく認識してしまうことを大幅に抑制することができる。

【0060】

式（１）の演算及び補正部２３により補正された結果は、視差調整部４２に送られる。視差調整部４２には、それぞれ仮想視点設定部３１からの視点位置情報が入力されている。

【0061】

視差調整部４２は、視差調整のための変形量を演算するものであってよい。具体的には、Ｌカメラ２の撮像画像の補正結果と視点位置情報とに基づき、視差調整のための変形量ｄＬの演算を、式（３）を用いて実行する。

【数3】

【0062】

式（３）の演算結果は、画像変形部４３に送出される。画像変形部４３には、Ｌカメラ２で撮影された画像情報が入力されている。画像変形部４３では、視差調整部４２での式（３）の演算結果と、Ｌカメラ２の画像情報とに基づき、Ｌカメラ２で撮影した画像の視差をさらに補正するための変形処理を、式（４）により実行する。

【数4】

【0063】

画像変形部４３で実行された変形処理後のＬカメラ２の画像情報は、画像混合部４４へ送出される。

【0064】

上述したＬカメラ２の場合と同様に、視差調整部４２では、Ｒカメラ３の撮像画像の補正結果と視点位置情報とに基づき、視差調整のための変形量ｄＲの演算を、式（５）を用いて実行する。

【数5】

【0065】

式（５）の演算結果は、画像変形部４３に送出される。画像変形部４３には、Ｒカメラ３で撮影された画像情報が入力されている。画像変形部４３では、視差調整部４２での式（５）の演算結果と、Ｒカメラ３の画像情報とに基づき、Ｒカメラ３で撮影した画像の視差をさらに補正するための変形処理を、式（６）により実行する。

【数6】

【0066】

画像変形部４３で実行された変形処理後のＲカメラ３の画像情報は、画像混合部４４へ送出される。

【0067】

画像混合部４４には、視点位置指示部３１からの視点指示情報が入力されている。この画像混合部４４では、式（７）に基づき、視点毎の画像（仮想カメラの各視点の画像）を重畳する。

【数7】

【0068】

この合成は、α－ｂｌｅｎｄｉｎｇ処理として知られる。採用比率（１－ｔ）：ｔをＬカメラ２の位置とＲカメラ３の位置の内分比の逆とすることで、徐々に変化しカメラ間の画質の差異による段差を解消する。また、画像連結される部分では、ほぼ１００％連結されるカメラ画像が採用されるため、連結される画像間の段差も解消できる。

【0069】

画像混合部４４で重畳されたオーバーラップ部１０４の補間画像Ｉ（ｘ，ｙ）は、ストレージ１４等に一時的に格納され、所定のタイミング（Ｌカメラ２の画像とＲカメラ３の画像との間での同期をとった状態）で、前述した連結部３３へ送出される。なお、カメラ間の同期は、視差検出部４１による視差検出よりも前に実行しておくとよい。

【0070】

次に、上述の構成を含む本実施の形態に係る画像処理装置１による画像処理プロセスについて、主に図４及び図５を参照して以下に説明する。

【0071】

図４は、図１に示す画像処理装置を用いた画像処理のプロセスの一例を示したフローチャートである。また、図５は、図１に示す２つのカメラが同一のタイミングで撮像した撮影画像の一例を示した図であって、図５（Ａ）は、Ｒカメラの撮像画像の一例を示し、図５（Ｂ）は、Ｌカメラの撮像画像の一例を示したものである。なお、以下に示す一連の画像処理は、画像処理装置１を構成するコンピュータを動作させる画像処理プログラムを実行することにより実施されるものであってよい。画像処理プログラムは、ストレージ１４等のコンピュータ内部の記録手段に格納され、あるいはコンピュータ読取可能な記録媒体の形態で提供され得る。

【0072】

画像処理装置１の電源がオンされ、画像処理プロセスが開始すると、先ず、図４に示すように、Ｌカメラ２及びＲカメラ３が動作して画像の撮像を開始し、これに並行して取得部２１にてＬカメラ２及びＲカメラ３で撮影した撮影画像１１２、１１３（図５参照）の取得を開始する（工程Ｓ１）。次いで、仮想視点設定部３１から視点位置指示情報を取得する（工程Ｓ２）。

【0073】

取得された撮影画像１１２、１１３及び視点位置指示情報は、補間画像生成部３２に送られ、視差検出部４１にて、オーバーラップ部１０４における、Ｌカメラ２基準の視差検出処理と、Ｒカメラ３基準の視差検出処理とが実行される（工程Ｓ３）。

【0074】

視差検出部４１により視差値が算出されると、撮影画像１１２、１１３内に路面に該当する領域があるか否かを判断する（工程Ｓ４）。ここで、路面に該当する領域があると判断された場合（工程Ｓ４でＹｅｓ）には、次に、当該路面に該当する領域において算出された視差値が、路面情報格納部２２に格納された路面情報として路面の視差値よりも小さいか否かが判断される（工程Ｓ５）。

【0075】

路面に該当する領域において算出された視差値が路面の視差値よりも小さい場合（工程Ｓ５でＹｅｓ）は、算出された視差値にノイズが含まれていると判断し、補正部２３による視差値の補正処理が実行される（工程Ｓ６）。具体的には、路面に該当する領域において算出された視差値を路面の視差値に置き換える補正を行う。

【0076】

上述の補正処理が完了すると、Ｌカメラ２基準の視差に基づく視差調整処理とＲカメラ３基準の視差に基づく視差調整処理と、を実行する（工程Ｓ７）。続いて、Ｌカメラ２基準の画像変形処理と、Ｒカメラ３基準の画像変形処理と、を実行する（工程Ｓ８）。

【0077】

上述したＬカメラ２基準の画像変形処理及びＲカメラ３基準の画像変形処理が完了すると、Ｌカメラ２基準のオーバーラップ部１０４の画像と、Ｒカメラ３基準のオーバーラップ部１０４の画像とが得られる。そこで次に、このＬカメラ２基準のオーバーラップ部１０４の画像とＲカメラ３基準のオーバーラップ部１０４の画像とを混合して、補間画像を生成する（工程Ｓ９）。生成された補間画像は、一時的に格納しておくとよい。

【0078】

補間画像が生成されると、連結部３３にて、広視野画像を得るために各画像の連結を行う（工程Ｓ１０）。具体的には、Ｌカメラ２の撮影画像１１２のうち、オーバーラップ部１０４を除いた画像（以下、この部分の画像を「Ｌ側画像」という）１２２と、Ｒカメラ３の撮影画像１１３のうち、オーバーラップ部１０４を除いた画像（以下、この部分の画像を「Ｒ側画像」という）１２３とを取得し、Ｌ側画像１２２、Ｒ側画像１２３及び一時的に格納されていた補間画像の３つを連結する。

【0079】

最後に、連結した画像の画像表示処理が実行される（工程Ｓ１１）。画像表示処理は、連結部３３で連結した広視野画像（合成画像）を、出力部２５を介してモニタ４へ出力し、モニタ４に表示することをいう。

【0080】

上述した一連のプロセスは、画像処理装置が動作している間は連続して実行され得る。これにより、モニタ４には広視野画像が動画として連続表示される。

【0081】

図６は、図５に示す撮影画像を合成した広視野画像の一例を示した図であって、図６（Ａ）は、補正部による補正を実行しなかった場合の広視野画像の一例を示し、図６（Ｂ）は、補正部による補正を実行した場合の広視野画像の一例を示したものである。補正部２３による視差値の補正を行なわずに生成した広視野画像３００は、図６（Ａ）に示すように、オーバーラップ部１０４の画像のうち、路面に該当する領域の一部（特に図６（Ａ）の矢印Ｘで示した部分）に画像の乱れが生じた。これに対し、上述した補正部２３による視差値の補正を行って生成した広視野画像２００は、図６（Ｂ）に示すように、オーバーラップ部１０４の画像は乱れのない自然な画像が表示された。

【0082】

以上説明した通り、本実施の形態に係る画像処理装置１では、補正部２３によってオーバーラップ部１０４の画像内の路面に該当する領域の視差値が補正されることで、画像を合成した際に、路面に該当する領域の画像にズレや乱れが生じることを抑制できる。これにより、より自然な広視野画像をユーザに提供することができる。

【0083】

上述した実施の形態では、撮像装置の一例としてステレオカメラを構成するＬカメラ２及びＲカメラ３を例示したが、撮像装置はこれらのカメラに限定されない。例えば、車両の後方に設置されるカメラと、車両のドアミラーに対応する部分に設置されるカメラとが撮影した撮影画像を合成して広視野画像を生成するものであってもよい。あるいは、車両に搭載されてアラウンドビューモニタとして機能し得る複数のカメラの撮影画像を合成するものであってもよい。

【0084】

上記各実施の形態においては、ＣＰＵ等で構成されるプロセッサ１１がＲＯＭ１２あるいはストレージ１４に格納されたプログラムを読み込んで実行した処理を、プロセッサ１１以外の他のプロセッサが実行するようにしてもよい。この場合の他のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等を挙げることができる。また、画像処理プロセスを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア構成は、半導体素子等の回路素子を組み合わせた電気回路であり得る。

【0085】

本開示は上述した実施の形態に限定されるものではなく、本開示の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本開示の技術思想に含まれるものである。また、本開示において、各構成要素は、矛盾が生じない限りは１つのみ存在しても２つ以上存在してもよい。

【符号の説明】

【0086】

１ 画像処理装置
２ Ｌカメラ（撮像装置の一例）
３ Ｒカメラ（撮像装置の一例）
２１ 取得部
２２ 路面情報格納部
２３ 補正部
２４ 合成部
２６ 路面情報更新部
３１ 仮想視点設定部
３２ 補間画像生成部
３３ 連結部
１０４ オーバーラップ部
１１２ Ｌカメラの撮影画像
１１３ Ｒカメラの撮影画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】