特許 6523801 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6523801

(24)【登録日】2019年5月10日

(45)【発行日】2019年6月5日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   B60R 1/00 20060101AFI20190527BHJP

   H04N 7/18 20060101ALI20190527BHJP

   G08G 1/16 20060101ALI20190527BHJP

   G06T 1/00 20060101ALI20190527BHJP

【ＦＩ】

   B60R1/00 A

   H04N7/18 J

   G08G1/16 C

   G06T1/00 330A

【請求項の数】4

【全頁数】19

(21)【出願番号】特願2015-116420(P2015-116420)

(22)【出願日】2015年6月9日

(65)【公開番号】特開2017-1493(P2017-1493A)

(43)【公開日】2017年1月5日

【審査請求日】2018年3月30日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】村角 周樹

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】竹内 茂人

(72)【発明者】

【氏名】藤尾 明英

【審査官】 高島 壮基

(56)【参考文献】

【文献】 国際公開第２０１２／０３２８０９（ＷＯ，Ａ１）

【文献】 特開２０００−３３９５９８（ＪＰ，Ａ）

【文献】 特開２０１０−２６４９５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の車幅の延長線を示す車幅線の画像である車幅画像と前記車両の予測される進行方向を示す予測線の画像である予測画像とを、前記車幅線と前記予測線との重複度に応じて選択する選択部と、
撮像装置から入力される撮像画像に前記選択部によって選択された前記車幅画像および前記予測画像を重畳した合成画像を生成する画像処理部と、
前記重複度が所定の閾値以上であるか否かを判定する判定部と
を備え、
前記車幅画像および前記予測画像のうち一方を前面に表示する前面画像とするとともに他方を前記前面画像の背面に表示する背面画像としたときに、前記選択部は、前記重複度が前記閾値以上である場合に、前記前面画像として前記背面画像が視認できる画像を選択すること
を特徴とする画像処理装置。

【請求項2】

前記選択部は、複数の画像の中から前記車幅画像および前記予測画像を選択すること
を特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記車両の状態に応じて、前記車幅画像および前記予測画像のうち一方を前面に表示する前面画像に決定し、他方を前記前面画像の背面に表示する背面画像に決定する決定部をさらに備え、
前記決定部は、
前記車両が停止している場合に前記車幅画像を前記前面画像に決定し、前記車両が移動している場合に前記予測画像を前記前面画像に表示すると決定すること
を特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

車両の車幅の延長線を示す車幅線の画像である車幅画像と前記車両の予測される進行方向を示す予測線の画像である予測画像とを、前記車幅線と前記予測線との重複度に応じて選択する選択工程と、
撮像装置から入力される撮像画像に前記選択工程で選択された前記車幅画像および前記予測画像を重畳した合成画像を生成する画像処理工程と、
前記重複度が所定の閾値以上であるか否かを判定する判定工程と
を含み、
前記車幅画像および前記予測画像のうち一方を前面に表示する前面画像とするとともに他方を前記前面画像の背面に表示する背面画像としたときに、前記選択工程で、前記重複度が前記閾値以上である場合に、前記前面画像として前記背面画像が視認できる画像を選択すること
を特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、車両の進行軌跡を予測し、予測線をディスプレイに表示させる装置が知られている。かかる装置では、予測線とともに車幅延長線もディスプレイに表示させている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−７６４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の装置では、単に予測線および車幅延長線をディスプレイに表示させているに過ぎず、例えば予測線および車幅延長線が重なって表示される場合に、運転者にとって予測線および車幅延長線がどのように見えているのか考慮されていなかった。そのため、運転者に対して、予測線や車幅延長線と言った車両に関する情報を適切に表示できていない可能性があった。

【0005】

本発明は、上記に鑑みてなされたものであって、運転者に対して車両に関する情報を適切に表示できる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、選択部と、画像処理部と、判定部とを備える。選択部は、車両の車幅の延長線を示す車幅線の画像である車幅画像と前記車両の予測される進行方向を示す予測線の画像である予測画像とを、前記車幅線と前記予測線との重複度に応じて選択する。画像処理部は、撮像装置から入力される撮像画像に前記選択部によって選択された前記車幅画像および前記予測画像を重畳した合成画像を生成する。判定部は、前記重複度が所定の閾値以上であるか否かを判定する。前記車幅画像および前記予測画像のうち一方を前面に表示する前面画像とするとともに他方を前記前面画像の背面に表示する背面画像としたときに、選択部は、前記重複度が前記閾値以上である場合に、前記前面画像として前記背面画像が視認できる画像を選択する。

【発明の効果】

【0007】

本発明によれば、運転者に対して車両に関する情報を適切に表示できる画像処理装置および画像処理方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る画像処理方法を示す説明図である。

【図2】図２は、実施形態に係る周辺監視システムの構成例を示す図である。

【図3】図３は、実施形態に係る撮像装置の配置例を示す図である。

【図4】図４は、実施形態に係る車幅画像の画像群の一例を示す図である。

【図5】図５は、実施形態に係る予測画像の画像群の一例を示す図である。

【図6】図６は、実施形態に係る画像表示処理を示すフローチャートである。

【図7】図７は、実施形態に係る画像処理装置の変形例を説明する図である。

【図8】図８は、実施形態の変形例に係る画像処理部が生成する合成画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

＜１．画像処理方法＞
図１は、本発明の実施形態に係る画像処理方法を示す説明図である。かかる画像処理方法は、例えば車両Ｃに搭載される画像処理装置１０によって実行される。

【0011】

画像処理装置１０は、車両Ｃの車幅の延長線を示す車幅線Ｌ１０と、車両Ｃの予測される進行方向を示す予測線Ｌ２０との重複度に応じて、車幅線Ｌ１０の車幅画像Ｐ１０および予測線Ｌ２０の予測画像Ｐ２０を選択する。

【0012】

次に、画像処理装置１０は、車両Ｃに搭載された撮像装置（図示せず）から入力される撮像画像に、車幅画像Ｐ１０および予測画像Ｐ２０を重畳した合成画像Ｐ３を表示部（図示せず）に表示する。

【0013】

具体的に、画像処理装置１０は、撮像画像に基づいて車両Ｃの進行方向を予測する。車両Ｃの進行方向は、例えば撮像装置が所定間隔で撮像した複数の撮像画像の時間変化に基づいて予測される。あるいは、車両Ｃの進行方向は、例えば車両Ｃの車輪の舵角に応じて予測される。

【0014】

画像処理装置１０は、予測した進行方向に沿って車両Ｃが移動した場合の軌跡線を予測線Ｌ２０として算出する。ここで、予測線Ｌ２０は、所定の幅と長さを有する２本の線であり、車両Ｃの進行方向に応じて直線あるいは曲線となる。例えば車両Ｃが直進している場合、予測線Ｌ２０は直線となり、車両Ｃが旋回している場合、予測線Ｌ２０は、旋回角度に応じた曲率を有する曲線となる。

【0015】

予測線Ｌ２０に含まれる２本の直線は、車両Ｃの車幅と同じ間隔をあけて配置される。このように、予測線Ｌ２０は、車両Ｃの進行方向に応じて算出される車両Ｃの予測軌跡を示す線である。

【0016】

一方、車幅線Ｌ１０は、所定の幅と長さを有する２本の直線であり、かかる２本の直線は、車両Ｃの車幅と同じ間隔をあけて配置される。なお、車幅線Ｌ１０の所定の幅は、予測線Ｌ２０の幅と同じ長さであるものとする。かかる車幅線Ｌ１０は、車両Ｃによってあらかじめ決定される線である。

【0017】

画像処理装置１０は、撮像装置によって撮像された車両Ｃの周囲の撮像画像に車幅線Ｌ１０を重畳して表示部に表示させることで、車両Ｃの向きや姿勢等といった情報や車両Ｃの周囲の状況等を運転者に提示する。

【0018】

また、画像処理装置１０は、車両Ｃの周囲の撮像画像に予測線Ｌ２０を重畳して表示部に表示させることで、車両Ｃの進行方向を運転者に提示する。以下、説明を簡単にするために、画像処理装置１０が予測線Ｌ２０の前面に車幅線Ｌ１０を重畳して表示部に表示させる場合について説明する。

【0019】

ここで、例えば車両Ｃが直進する場合、予測線Ｌ２０は直線となる。すなわち、車幅線Ｌ１０と予測線Ｌ２０は、同じ形状の２本の直線となる。したがって、画像処理装置１０が、車幅線Ｌ１０および予測線Ｌ２０として、同じ画像を撮像画像に重畳して表示部に表示させると、予測線Ｌ２０は、前面に表示される車幅線Ｌ１０に隠れてしまい、運転者が視認できなくなってしまう。

【0020】

このように、車両Ｃの進行方向によっては、予測線Ｌ２０の一部に車幅線Ｌ１０が重複してしまい、運転者が予測線Ｌ２０を視認しにくくなってしまう。したがって、単に車幅線Ｌ１０および予測線Ｌ２０を表示部に表示させるだけでは、運転者に対して車幅線Ｌ１０および予測線Ｌ２０といった車両Ｃに関する情報を適切に表示しているとはいえなかった。

【0021】

そこで、本実施形態に係る画像処理装置１０は、車幅線Ｌ１０と予測線Ｌ２０との重複度を算出し、算出した重複度が所定の閾値以上である場合に、前面に表示する画像（以下、前面画像とも称する）として、背面に表示する画像（以下、背面画像とも称する）が視認できる画像を選択する。なお、以下では車幅線Ｌ１０を示す車幅画像Ｐ１０を前面画像とし、予測線Ｌ２０を示す予測画像Ｐ２０を背景画像とする場合について説明する。

【0022】

画像処理装置１０は、車幅線Ｌ１０と予測線Ｌ２０との重複度として、例えば車幅線Ｌ１０および予測線Ｌ２０の重複部分の面積Ｓ１を求める。画像処理装置１０は、求めた面積Ｓ１が所定の閾値以上であるか否かを判定する。

【0023】

画像処理装置１０は、車幅線Ｌ１０および予測線Ｌ２０の重複部分の面積Ｓ１が所定の閾値以上である場合に、車幅画像Ｐ１０として、背面画像である予測画像Ｐ２０を視認できる画像を選択する。

【0024】

ここで、車幅画像Ｐ１０は、例えば、車幅の延長線である２本の車幅ラインＬ１１と、車両Ｃから第１の距離離れた位置を示す第１距離ラインＬ３１と、車両Ｃから第２の距離離れた位置を示す第２距離ラインＬ３２とが描画された画像である。

【0025】

図１の例では、画像処理装置１０は、車幅画像Ｐ１０として、車幅ラインＬ１１および第２距離ラインＬ３２が破線で描画された画像を選択する。

【0026】

また、予測画像Ｐ２０は、予測される車両Ｃの軌跡を示す２本の予測ラインＬ２１が描画された画像である。図１の例では、画像処理装置１０は、予測画像Ｐ２０として、予測ラインＬ２１が実線で描画された画像を選択する。

【0027】

画像処理装置１０は、撮像画像、選択した予測画像Ｐ２０および車幅画像Ｐ１０を、かかる順に重畳して合成画像Ｐ３を生成する。画像処理装置１０は、生成した合成画像Ｐ３を表示部に表示させる。

【0028】

このように、画像処理装置１０は、車幅画像Ｐ１０および予測画像Ｐ２０のうち一方を前面に表示する前面画像とするとともに他方を前記前面画像の背面に表示する背面画像としたときに、前面画像として背面画像が視認できる画像を選択する。

【0029】

具体的に、上述した例では、前面画像として、背景に表示する予測画像Ｐ２０を視認できる車幅画像Ｐ１０を選択する。これにより、予測線Ｌ２０が車幅線Ｌ１０に隠れにくくなり、運転者が予測線Ｌ２０および車幅線Ｌ１０を視認しやすくなり、運転者が車幅線Ｌ１０および予測線Ｌ２０といった車両Ｃに関する情報をより理解しやすくなる。

【0030】

画像処理装置１０は、車幅線Ｌ１０と予測線Ｌ２０との重複度に応じて、車幅線Ｌ１０の車幅画像Ｐ１０および予測線Ｌ２０の予測画像Ｐ２０を選択することで、運転者に対して車幅線Ｌ１０および予測線Ｌ２０といった車両Ｃに関する情報をより適切に提示することができる。以下、画像処理装置１０を含む周辺監視システム１についてさらに説明する。

【0031】

＜２．周辺監視システム１＞
図２は、本発明の実施形態に係る周辺監視システム１の構成例を示す図である。図２に示すように、周辺監視システム１は、画像処理装置１０と、撮像装置２０と、ナビゲーション装置３０と、シフトセンサ４０と、車速センサ５０とを備える。

【0032】

＜２．１．撮像装置２０＞
図３は、撮像装置２０の配置例を示す図である。撮像装置２０は、図３に示すように、車両Ｃの後方に配置され、車両Ｃの後方を撮像方向として撮像を行う。図３に示す領域Ｒは、撮像装置２０の撮像範囲を示す領域である。

【0033】

撮像装置２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した車両Ｃ後方の画像（以下、撮像画像と記載する）を画像処理装置１０に出力する。

【0034】

また、撮像装置２０のレンズとして魚眼レンズなどの広角レンズを採用することで、撮像装置２０の画角を１８０度以上としてもよい。これにより車両Ｃの後方を広く撮影することが可能となる。

【0035】

なお、ここでは、撮像装置２０を後方に配置する例について説明したが、これに限られない。例えば撮像装置２０が車両Ｃの前方に配置される前方撮像部と、車両Ｃの後方に配置される後方撮像部と、車両Ｃの右方に配置される右方撮像部と、車両Ｃの左方に配置される左方撮像部とを備えるようにし、車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向として撮像を行うようにしてもよい。これにより、車両Ｃ全周囲を撮影することが可能となる。

【0036】

＜２．２．ナビゲーション装置３０＞
図２のナビゲーション装置３０は、表示部３１と、音声出力部３２と、入力操作部３３と、制御部３４とを備える。ナビゲーション装置３０は、車両Ｃの運転者が運転する際のナビゲーション機能やオーディオ機能などを有する。

【0037】

表示部３１は、ＬＣＤ（Liquid Crystal Display）を備え、制御部３４の指示に従って例えばナビ画像やテレビジョン放送信号に基づく画像を表示する。また、表示部３１は、画像処理装置１０から入力された撮像画像、合成画像Ｐ３を表示する。

【0038】

音声出力部３２は、スピーカを備え、制御部３４の指示に従って例えばナビゲーション機能の音声案内や、テレビジョン放送信号に基づく音声を出力する。また、入力操作部３３は、操作者からのナビゲーション装置３０に対する入力操作を受け付ける。なお、表示部３１が例えばタッチパネル式ディスプレイである場合、表示部３１が入力操作部３３の機能を備えるようにしてもよい。

【0039】

制御部３４は、ナビゲーション装置３０が備える各部を制御する。制御部３４は、例えば入力操作部３３が受け付けた入力操作に基づいて、表示部３１に所定の画像を表示させたり、音声出力部３２に音声データを出力させたりする。

【0040】

＜２．３．シフトセンサ４０および車速センサ５０＞
周辺監視システム１は、シフトセンサ４０や車速センサ５０など、車両Ｃの状態を検出する各種センサを備える。シフトセンサ４０は、シフトレバー（図示せず）のポジションを検出する。シフトレバーのポジションとしては、車両Ｃが完全に停車している「パーキング」や車両Ｃが後退している「リア」等が挙げられる。シフトセンサ４０は、検出したシフトレバーのポジションを画像処理装置１０に出力する。

【0041】

車速センサ５０は、車両Ｃの走行速度（以下、車速と記載する）を検出する。車速センサ５０は、検出した車両Ｃの車速を画像処理装置１０に出力する。

【0042】

＜２．４．画像処理装置１０＞
画像処理装置１０は、画像処理部１１、進行予測部１２、判定部１３、選択部１４、決定部１５および記憶部１６を備える。

【0043】

＜２．４．１．進行予測部１２＞
進行予測部１２は、撮像装置２０から入力される撮像画像に基づいて車両Ｃの進行方向を予測する。進行予測部１２には、撮像装置２０から所定間隔で撮像された複数の撮像画像が連続して入力される。

【0044】

進行予測部１２は、例えば時刻ｔ１に撮像された撮像画像から特徴点Ｆ１を検出する。画像から特徴点を検出する方法としては、例えばエッジとエッジの交点であるコーナーを検出する方法や、ＫＬＴ法などがある。

【0045】

続いて、進行予測部１２は、時刻ｔ１の次の時刻ｔ２に撮像された撮像画像から特徴点Ｆ２を検出する。進行予測部１２は、時刻ｔ１における特徴点Ｆ１の位置および時刻ｔ２における特徴点Ｆ２を結んだ移動ベクトル（オプティカルフロー）に基づいて車両Ｃの進行方向を予測する。

【0046】

進行予測部１２は、予測した車両Ｃの進行方向に基づき、予測線Ｌ２０を予測する。進行予測部１２は、予測した進行方向に移動した場合の車両Ｃの軌跡線を予測線Ｌ２０として予測する。進行予測部１２は、予測した予測線Ｌ２０を画像処理部１１および判定部１４に出力する。

【0047】

なお、進行予測部１２が検出する特徴点Ｆ１、Ｆ２の個数は１個に限られない。進行予測部１２が、複数の特徴点Ｆ１、Ｆ２を検出するようにしてもよい。

【0048】

また、進行予測部１２は撮像画像に基づいて車両Ｃの進行方向を予測するが、車両Ｃの進行方向を予測する方法はこれに限られない。例えば、車輪の舵角に応じて車両Ｃの進行方向を予測するようにしてもよい。車輪の舵角は、例えば図示しないステアリングセンサによって検出することができる。

【0049】

＜２．４．２．判定部１３＞
判定部１３は、車幅線Ｌ１０と進行予測部１２が予測した予測線Ｌ２０との重複度を算出する。判定部１３は、算出した重複度を所定の閾値Ｔｈと比較し、比較結果に基づいて重複度が所定の閾値Ｔｈ以上であるか否かを判定する。判定部１３は、判定結果を選択部１４に出力する。なお、車幅線Ｌ１０は、車両Ｃによってあらかじめ決められている線であって、例えば記憶部１６に記憶されているものとする。

【0050】

判定部１３は、車幅線Ｌ１０および予測線Ｌ２０の重複部分の面積Ｓ１を重複度として算出する（図１参照）。判定部１３は、重複部分の面積Ｓ１と閾値Ｔｈとを比較する。なお、ここでは、車幅線Ｌ１０の２本の線および予測線Ｌ２０の２本の線それぞれの重複度を算出しているが、どちらか一方、すなわち車両Ｃの右端あるいは左端の車幅線Ｌ１０および予測線Ｌ２０の重複部分の面積Ｓ１を算出するようにしてもよい。

【0051】

また、判定部１３が予測線Ｌ２０の曲率半径に基づいて重複度が所定の閾値以上であるか否かを判定するようにしてもよい。この場合、判定部１３は、予測線Ｌ２０の曲率半径が所定の閾値以上であるか否かを判定する。

【0052】

あるいは、車幅線Ｌ１０と予測線Ｌ２０とのなす角に基づいて重複度が所定の閾値以上であるか否かを判定するようにしてもよい。この場合、判定部１３は、車幅線Ｌ１０と予測線Ｌ２０とのなす角が所定の角度以上であるか否かを判定する。

【0053】

また、進行予測部１２が車輪の舵角に基づいて進行方向を予測している場合、判定部１３は、かかる車輪の舵角に基づいて重複度が所定の閾値以上であるか否かを判定するようにしてもよい。この場合、車輪の舵角が所定の角度以上であるか否かを判定する。

【0054】

＜２．４．３．決定部１５＞
決定部１５は、車両Ｃの状態に応じて、車幅画像Ｐ１０および予測画像Ｐ２０のうち一方を前面画像に決定し、他方を前面画像の背面に表示する背面画像に決定する。

【0055】

決定部１５は、車両Ｃが停止している場合に、車幅画像Ｐ１０を前面画像に決定し、予測画像Ｐ２０を背面画像に決定する。また決定部１５は、車両Ｃが移動している場合に、予測画像Ｐ２０を前面画像に決定し、車幅画像Ｐ１０を背面画像に決定する。なお、車両Ｃが移動しているとは、直進および旋回している場合を含む。なお、直進および旋回は、前進および後退している場合を含む。

【0056】

決定部１５は、車速センサ５０から入力される車両Ｃの車速に基づいて、車両Ｃの状態、すなわち車両Ｃが停止しているか移動しているかを判定する。決定部１５は、例えば車両Ｃの車速とゼロ以上の所定の速度Ｖｔｈ（Ｖｔｈ≧０）とを比較する。決定部１５は、所定の速度Ｖｔｈ以下の場合に車両Ｃが停止していると判定し、所定の速度Ｖｔｈより大きい場合に車両Ｃが移動していると判定する。

【0057】

決定部１５は、車両Ｃの状態に基づいて車幅線Ｌ１０および予測線Ｌ２０のどちらを前面に表示するか、すなわち車幅画像Ｐ１０と予測画像Ｐ２０の重畳順を決定する。決定部１５は、決定結果を選択部１４に出力する。

【0058】

なお、ここでは、決定部１５が車両Ｃの状態に応じて車幅画像Ｐ１０と予測画像Ｐ２０の重畳順を決定するとしているが、これに限られない。例えば運転者が車幅画像Ｐ１０と予測画像Ｐ２０の重畳順を決定できるようにしてもよい。あるいは、製品出荷時や周辺監視システム１を車両Ｃに搭載するときなどにあらかじめ設定できるようにしてもよい。

【0059】

＜２．４．４．選択部１４＞
選択部１４は、判定部１４による判定結果および決定部１５による決定結果に応じて、記憶部１６が記憶する複数の画像の中から車幅画像Ｐ１０および予測画像Ｐ２０をそれぞれ選択する。選択部１４は、選択した画像を画像処理部１１に出力する。

【0060】

選択部１４は、判定部１４によって重複度が所定の閾値Ｔｈ以上であると判定された場合に、前面画像として、複数の画像を含む画像群の中から背面画像が視認できる画像を選択する。

【0061】

画像群は、車幅線Ｌ１０を描画する車幅画像Ｐ１０の画像群と予測線Ｌ２０を描画する予測画像Ｐ２０の画像群とを含む。以下、各画像群の詳細について説明する。

【0062】

＜２．４．４．１．車幅画像Ｐ１０の画像群＞
図４は、車幅画像Ｐ１０の画像群の一例を示す図である。図４の例では、車幅画像Ｐ１０の画像群は、１０個の画像Ｐ１０ａ〜Ｐ１０ｊを有する。各画像Ｐ１０ａ、Ｐ１０ｂ、Ｐ１０ｄ〜Ｐ１０ｊにはそれぞれ、車幅の延長線である２本の車幅ラインＬ１１、車両Ｃから所定距離離れた位置を示す第１距離ラインＬ３１および第２距離ラインＬ３２の少なくとも１つが描画されている。各画像Ｐ１０ａ〜Ｐ１０ｊの詳細は以下の通りである。なお、以下、第１距離ラインＬ３１および第２距離ラインＬ３２をまとめて距離ラインＬ３０とも称する。

【0063】

画像Ｐ１０ａは、車幅ラインＬ１１および距離ラインＬ３０を実線で描画した画像である。車幅ラインＬ１１および距離ラインＬ３０はいずれも透過していない。画像Ｐ１０ａは、背面の画像を視認できない画像である。

【0064】

画像Ｐ１０ｂは、画像Ｐ１０ａと同様に、車幅ラインＬ１１および距離ラインＬ３０を実線で描画した画像である。ただし、画像Ｐ１０ｂの車幅ラインＬ１１は透過している点で画像Ｐ１０ａと異なる。画像Ｐ１０ｂは、車幅ラインＬ１１を透過させることで、背面の画像を視認できるようにした画像である。

【0065】

画像Ｐ１０ｃは、車幅ラインＬ１１および距離ラインＬ３０が描画されていない画像である。このように、ラインＬ１１、Ｌ３０の描画を省略した画像Ｐ１０ｃを車幅画像Ｐ１０とすることもできる。画像Ｐ１０ｃは、ラインＬ１１、Ｌ３０の描画を省略することで背面の画像を視認できるようにした画像である。

【0066】

画像Ｐ１０ｄは、車幅ラインＬ１１および第２距離ラインＬ３２が描画される画像である。車幅ラインＬ１１は透過している。画像Ｐ１０ｄは、車幅ラインＬ１１を透過させることで、背面の画像を視認できるようにした画像である。

【0067】

なお、ここでは、第１距離ラインＬ３１の描画を省略しているが、第１距離ラインＬ３１を描画し、第２距離ラインＬ３２の描画を省略してもよい。また、車幅ラインＬ１１は透過しているとしたが、透過しないようにしてもよい。この場合、画像Ｐ１０ｄは、背面の画像を視認できない画像となる。

【0068】

画像Ｐ１０ｅは、部分ラインＬ１１＿Ｓおよび第１距離ラインＬ３１が描画される画像である。部分ラインＬ１１＿Ｓは、車幅ラインＬ１１のうち、車幅ラインＬ１１の車両Ｃに近い端部から第１距離ラインＬ３１までのラインである。部分ラインＬ１１＿Ｓは透過しており、画像Ｐ１０ｅは、背面の画像を視認できる画像である。

【0069】

なお、ここでは、部分ラインＬ１１＿Ｓは透過しているとしたが、透過しないようにしてもよい。部分ラインＬ１１＿Ｓが透過しない場合であっても、車幅ラインＬ１１のうち部分ラインＬ１１＿Ｓを描画していない部分に表示される背面画像、すなわち予測線Ｌ２０を視認することができる。したがって、画像Ｐ１０ｅは、部分ラインＬ１１＿Ｓの透過、非透過にかかわらず背面の画像を視認できる画像である。

【0070】

画像Ｐ１０ｆは、車幅ラインＬ１１および第２距離ラインＬ３２を点線で描画した画像である。画像Ｐ１０ｇは、車幅ラインＬ１１および第２距離ラインＬ３２を破線で描画した画像である。画像Ｐ１０ｈは、車幅ラインＬ１１および第２距離ラインＬ３２を一点鎖線で描画した画像である。

【0071】

画像Ｐ１０ｉは、車幅ラインＬ１１および第２距離ラインＬ３２を長破線で描画した画像である。画像Ｐ１０ｊは、車幅ラインＬ１１および第２距離ラインＬ３２を二点鎖線で描画した画像である。

【0072】

このように、画像Ｐ１０ｆ〜Ｐ１０ｊは、車幅ラインＬ１１および第２距離ラインＬ３２を実線以外の線種で描画した画像である。画像Ｐ１０ｆ〜Ｐ１０ｊの車幅ラインＬ１１および距離ラインＬ３０はいずれも透過していない。画像Ｐ１０ｆ〜Ｐ１０ｊは、車幅ラインＬ１１および第２距離ラインＬ３２を実線以外の線で描画することで背面の画像を視認できるようにしている。

【0073】

画像Ｐ１０ｆ〜Ｐ１０ｊでは、第１距離ラインＬ３１を実線で描画しているが、車幅ラインＬ１１および第２距離ラインＬ３２と同様の線種で描画するようにしてもよい。また、画像Ｐ１０ｆ〜Ｐ１０ｊの車幅ラインＬ１１および距離ラインＬ３０はいずれも透過していないとしたが、透過するようにしてもよい。

【0074】

図４の例では、車幅線Ｌ１０を示す画像Ｐ１０ａ〜Ｐ１０ｊのうち、画像Ｐ１０ａは、背面に予測線Ｌ２０を表示した場合に、車幅線Ｌ１０および予測線Ｌ２０が重複すると、背面の予測線Ｌ２０を示す画像が視認できない画像である。一方、画像Ｐ１０ｂ〜Ｐ１０ｊは、背面に予測線Ｌ２０を表示した場合に、車幅線Ｌ１０および予測線Ｌ２０が重複したとしても、背面の予測線Ｌ２０を示す画像が視認できる画像である。

【0075】

なお、画像Ｐ１０ａ〜Ｐ１０ｊでは、車幅ラインＬ１１および第２距離ラインＬ３２と第１距離ラインＬ３１とが異なる表示色とするが、同じ表示色としてもよい。また、第２距離ラインＬ３２は、車幅ラインＬ１１と同様の線種としているが、第１距離ラインＬ３１と同様の線種としてもよい。

【0076】

＜２．４．４．２．予測画像Ｐ２０の画像群＞
図５は、予測画像Ｐ２０の画像群の一例を示す図である。図５の例では、予測画像Ｐ２０の画像群は、１０個の画像Ｐ２０ａ〜Ｐ２０ｊを有する。各画像Ｐ２０ａ、Ｐ２０ｂ、Ｐ２０ｄ〜Ｐ２０ｊにはそれぞれ、予測される車両Ｃの軌跡を示す２本の予測ラインＬ２１が描画されている。各画像Ｐ２０ａ〜Ｐ２０ｊの詳細は以下の通りである。

【0077】

画像Ｐ２０ａは、予測ラインＬ２１を実線で描画した画像である。予測ラインＬ２１は透過していない。画像Ｐ２０ａは、背面の画像を視認できない画像である。

【0078】

画像Ｐ２０ｂは、画像Ｐ２０ａと同様に、予測ラインＬ２１を実線で描画した画像である。ただし、画像Ｐ２０ｂの予測ラインＬ２１は透過している点で画像Ｐ２０ａと異なる。画像Ｐ２０ｂは、予測ラインＬ２１を透過させることで、背面の画像を視認できるようにした画像である。

【0079】

画像Ｐ２０ｃは、予測ラインＬ２１が描画されていない画像である。このように、予測ラインＬ２１の描画を省略した画像Ｐ２０ｃを予測画像Ｐ２０とすることもできる。画像Ｐ２０ｃは、予測ラインＬ２１の描画を省略することで背面の画像を視認できるようにした画像である。

【0080】

画像Ｐ２０ｄは、延長ラインＬ２１＿Ｌが描画される画像である。延長ラインＬ２１＿Ｌは、車両Ｃから遠い方向に予測ラインＬ２１をさらに延長させたラインである。すなわち延長ラインＬ２１＿Ｌは、予測ラインＬ２１より長いラインとなる。延長ラインＬ２１＿Ｌは透過している。画像Ｐ２０ｄは、延長ラインＬ２１＿Ｌを透過させることで、背面の画像を視認できるようにした画像である。

【0081】

なお、ここでは、延長ラインＬ２１＿Ｌは透過しているとしたが、透過しないようにしてもよい。この場合、画像Ｐ２０ｄは、背面の画像を視認できない画像となる。

【0082】

画像Ｐ２０ｅは、部分ラインＬ２１＿Ｓが描画される画像である。部分ラインＬ２１＿Ｓは、予測ラインＬ２１のうち、予測ラインＬ２１の車両Ｃに近い端部から第１距離ラインＬ３１までのラインである。部分ラインＬ２１＿Ｓは透過しており、画像Ｐ２０ｅは、背面の画像を視認できる画像である。

【0083】

なお、ここでは、部分ラインＬ２１＿Ｓは透過しているとしたが、透過しないようにしてもよい。部分ラインＬ２１＿Ｓが透過しない場合であっても、予測ラインＬ２１のうち部分ラインＬ２１＿Ｓを描画していない部分に表示される背面画像、すなわち車幅線Ｌ１０を視認することができる。したがって、画像Ｐ２０ｅは、部分ラインＬ２１＿Ｓの透過、非透過にかかわらず背面の画像を視認できる画像である。

【0084】

画像Ｐ２０ｆは、予測ラインＬ２１を点線で描画した画像である。画像Ｐ２０ｇは、予測ラインＬ２１を破線で描画した画像である。画像Ｐ２０ｈは、予測ラインＬ２１を一点鎖線で描画した画像である。画像Ｐ２０ｉは、予測ラインＬ２１を長破線で描画した画像である。画像Ｐ２０ｊは、予測ラインＬ２１を二点鎖線で描画した画像である。

【0085】

このように、画像Ｐ２０ｆ〜Ｐ２０ｊは、予測ラインＬ２１を実線以外の線種で描画した画像である。画像Ｐ２０ｆ〜Ｐ２０ｊの予測ラインＬ２１はいずれも透過していない。画像Ｐ２０ｆ〜Ｐ２０ｊは、予測ラインＬ２１を実線以外の線で描画することで背面の画像を視認できるようにしている。

【0086】

図５の例では、予測線Ｌ２０を示す画像Ｐ２０ａ〜Ｐ２０ｊのうち、画像Ｐ２０ａは、背面に車幅線Ｌ１０を表示した場合に、車幅線Ｌ１０および予測線Ｌ２０が重複すると、背面の車幅線Ｌ１０を示す画像が視認できない画像である。一方、画像Ｐ２０ｂ〜Ｐ２０ｊは、背面に車幅線Ｌ１０を表示した場合に、車幅線Ｌ１０および予測線Ｌ２０が重複したとしても、背面の車幅線Ｌ１０を示す画像が視認できる画像である。

【0087】

なお、画像Ｐ２０ａ〜Ｐ２０ｊの予測ラインＬ２１の表示色は、画像Ｐ１０ａ〜Ｐ１０ｊの車幅ラインＬ１１の表示色と異なるものとする。

【0088】

図４、図５に示す画像Ｐ１０ａ〜Ｐ１０ｊ、Ｐ２０ａ〜Ｐ２０ｊは、描画するラインの線種を変えることで、背面画像のラインを視認できるようにしていたが、これに限られない。例えば、車幅ラインＬ１１または予測ラインＬ２１を点滅表示させることで背面画像のラインを視認できるようにしてもよい。あるいは、背面画像のラインより、前面画像のラインが細くなるようにすることで、背面画像のラインを視認できるようにしてもよく、例えば点線のラインを点滅させて表示するなど、表示方法を複数組み合わせた画像としてもよい。

【0089】

＜２．４．４．３．車幅画像Ｐ１０および予測画像Ｐ２０の選択＞
選択部１４は、車幅線Ｌ１０および予測線Ｌ２０の重複度に応じて、複数の画像Ｐ１０ａ〜Ｐ１０ｊの中から車幅画像Ｐ１０を選択し、予測画像Ｐ２０ａ〜Ｐ２０ｊの中から予測画像Ｐ２０を選択する。

【0090】

まず、判定部１３によって、車幅線Ｌ１０および予測線Ｌ２０の重複度が所定の閾値Ｔｈ以上であると判定された場合について説明する。この場合、選択部１４は、前面画像として背面が視認できる画像を選択し、背面画像として背面が視認できない画像を選択する。

【0091】

決定部１５によって、車幅画像Ｐ１０が前面画像、予測画像Ｐ２０が背面画像に決定されている場合、選択部１４は、前面画像である車幅画像Ｐ１０として、背面が視認できる画像を選択する。図４に示す例では、選択部１４は、画像Ｐ１０ｂ〜Ｐ１０ｊの中から車幅画像Ｐ１０を選択することで、背面の予測線Ｌ２０を視認できる画像を選択する。また、選択部１４は、背面画像である予測画像Ｐ２０として、背面が視認できない画像を選択する。図５に示す例では、選択部１４は、画像Ｐ２０ａを選択する。

【0092】

一方、決定部１５によって、予測画像Ｐ２０が前面画像、車幅画像Ｐ１０が背面画像に決定されている場合、選択部１４は、前面画像である予測画像Ｐ２０として、背面が視認できる画像を選択する。図５に示す例では、選択部１４は、画像Ｐ２０ｂ〜Ｐ２０ｊの中から予測画像Ｐ２０を選択することで、背面の車幅画像Ｐ１０を視認できる画像を選択する。また、選択部１４は、背面画像である車幅画像Ｐ１０として、背面が視認できない画像を選択する。図４に示す例では、選択部１４は、画像Ｐ１０ａを選択する。

【0093】

次に、判定部１３によって、車幅線Ｌ１０および予測線Ｌ２０の重複度が所定の閾値Ｔｈ未満であると判定された場合、選択部１４は、前面画像および背面画像としていずれも背面が視認できない画像を選択する。ここでは、予測画像Ｐ２０を前面画像、車幅画像Ｐ１０を背面画像とする。

【0094】

この場合、選択部１４は、例えば背面画像である車幅画像Ｐ１０として、図４に示す画像Ｐ１０ａを選択し、前面画像である予測画像Ｐ２０として、図５に示す画像Ｐ２０ａを選択する。

【0095】

選択部１４は、判定部１４による判定結果および決定部１５による決定結果に応じて選択した前面画像および背面画像を画像処理部１１に出力する。

【0096】

なお、上述した例では、選択部１４が、車幅線Ｌ１０および予測線Ｌ２０の重複度が所定の閾値Ｔｈ以上である場合に、背面を視認できる画像として、複数の画像Ｐ１０ｂ〜Ｐ１０ｊの中から車幅画像Ｐ１０を選択し、Ｐ２０ｂ〜Ｐ２０ｊの中から予測画像Ｐ２０を選択するとしたがこれに限られない。例えば、運転者があらかじめ複数の画像Ｐ１０ｂ〜Ｐ１０ｊ、Ｐ２０ｂ〜Ｐ２０ｊの中から背面が視認できる画像を選択しておいてもよい。この場合、選択部１４は、前面画像として、運転者があらかじめ選択した画像を選択する。あるいは、背面が視認できる画像を製品出荷時や周辺監視システム１を車両Ｃに搭載するときなどにあらかじめ選択できるようにしてもよい。

【0097】

また、選択部１４は、車幅線Ｌ１０および予測線Ｌ２０の重複度が所定の閾値Ｔｈ未満である場合に、予測画像Ｐ２０および車幅画像Ｐ１０の両方を選択しているが、予測画像Ｐ２０および車幅画像Ｐ１０の一方を選択するようにしてもよい。すなわち、表示部３１に予測画像Ｐ２０および車幅画像Ｐ１０の一方を表示するようにしてもよい。

【0098】

あるいは、予測画像Ｐ２０および車幅画像Ｐ１０の両方を選択するか一方を選択するか変更できるようにしてもよい。この場合、例えば運転者によって、予測画像Ｐ２０および車幅画像Ｐ１０の両方を選択するか一方を選択するか変更できるようにしてもよい。

【0099】

＜２．４．５．画像処理部１１＞
図２に示す画像処理部１１は、例えば車両Ｃが後退している場合に、合成画像Ｐ３を表示部３１に表示させる。具体的には、画像処理部１１は、シフトセンサ４０から入力されるシフトレバーのポジションが「リア」の場合に、合成画像Ｐ３を生成し、表示部３１に出力する。

【0100】

画像処理装置１１は、撮像装置２０が撮像した撮像画像に、選択部１４から入力された背面画像および前面画像を重畳して合成画像Ｐ３を生成する。ここでは、背面画像として予測画像Ｐ２０が選択され、前面画像として車幅画像Ｐ１０が選択された場合について説明する。

【0101】

画像処理部１１は、撮像装置２０から入力された撮像画像に種々の画像処理を施して撮像データを生成する。また、画像処理部１１は、進行予測部１２が予測した車両Ｃの進行方向に基づき、予測画像Ｐ２０の予測ラインＬ２１を進行方向に応じた曲率を有する曲線ラインに変換する。

【0102】

画像処理部１１は、生成した撮像データ、変換した曲線ラインが描画された予測画像Ｐ２０および車幅画像Ｐ１０を重畳して合成画像Ｐ３を生成し、生成した合成画像Ｐ３をナビゲーション装置３０の表示部３１に表示させる。

【0103】

なお、ここでは、撮像装置２０が車両Ｃの後方の画像を撮像する場合について述べたが、例えば車両Ｃの全周囲を撮像する場合、画像処理部１１が全周囲を撮像した撮像画像に基づき仮想視点画像を生成するようにしてもよい。

【0104】

この場合、例えば撮像装置２０からは車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向とする複数の撮像画像が入力される。画像処理部１１は、かかる複数の撮像画像に対して座標変換処理を行い、仮想視点から見た画像である仮想視点画像を生成する。画像処理部１１は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。

【0105】

画像処理部１１は、例えば複数の撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、複数の撮像画像に含まれるデータを所定の投影面の対応する位置に投影する。

【0106】

かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、略半球状の外周領域）は、車両Ｃの周辺の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。

【0107】

画像処理部１１は、生成した仮想視点画像、予測画像Ｐ２０および車幅画像Ｐ１０を重畳して合成画像Ｐ３を生成してナビゲーション装置３０の表示部３１に表示させる。

【0108】

また、ここでは、画像処理部１１が、車両Ｃが後退している場合に合成画像Ｐ３を表示部３１に表示させるとしたが、これに限られない。例えば車両Ｃが直進している場合にも合成画像Ｐ３を表示部３１に表示させるようにしてもよい。この場合、画像処理部１１は、撮像装置２０が撮像した車両Ｃの前方の撮像画像に車幅線Ｌ１０及び予測線Ｌ２０を重畳させて表示させる。

【0109】

例えば幅が狭い道路を車両Ｃが通過する場合や、車両Ｃが他車両とすれ違う場合に、合成画像Ｐ３を表示部３１に表示させることで、運転者に対して安全に走行できる進行方向を提示することができる。

【0110】

また、ここでは、画像処理部１１が、進行予測部１２が予測した車両Ｃの進行方向に基づき、予測画像Ｐ２０の予測ラインＬ２１を進行方向に応じた曲率を有する曲線ラインに変換するとしたが、これに限られない。例えば選択部１４が予測画像Ｐ２０の予測ラインＬ２１を進行方向に応じた曲率を有する曲線ラインに変換してもよく、進行方向に応じた曲率を有する曲線ラインが予測ラインＬ２１として描画された画像を選択するようにしてもよい。

【0111】

＜２．４．６．記憶部１６＞
記憶部１６は、複数の画像Ｐ１０ａ〜Ｐ１０ｊ、Ｐ２０ａ〜Ｐ２０ｊを記憶する。また、記憶部１６は、所定の閾値Ｔｈなど判定部１３や決定部１５が行う処理に必要な情報を記憶する。記憶部１６は、例えばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。

【0112】

＜３．画像表示処理＞
続いて、画像処理装置１０が行う画像表示処理について説明する。図６は、画像処理装置１０が行う画像表示処理を示すフローチャートである。画像処理装置１０は、例えば車両Ｃのシフトレバーのポジションが「リア」に変更になったことを契機として画像表示処理を開始する。

【0113】

画像処理装置１０は、撮像装置２０から撮像画像を取得する（ステップＳ１０１）。画像処理装置１０は、取得した撮像画像に基づき、車両Ｃの進行方向を推定する（ステップＳ１０２）。画像処理装置１０は、推定した車両Ｃの進行方向および車両Ｃの車幅に基づいて、車両Ｃの車幅線Ｌ１０および予測線Ｌ２０の重複度を算出する（ステップＳ１０３）。

【0114】

画像処理装置１０は、算出した重複度を所定の閾値Ｔｈと比較する（ステップＳ１０４）。重複度が所定の閾値Ｔｈ未満である場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０８に進む。

【0115】

一方、重複度が所定の閾値Ｔｈ以上である場合（ステップＳ１０４；Ｙｅｓ）、画像処理装置１０は、車両Ｃが停止しているか否か判定する（ステップＳ１０５）。車両Ｃが停止している場合（ステップＳ１０５；Ｙｅｓ）、画像処理装置１０は、車幅線Ｌ２０を示す車幅画像Ｐ１０を前面画像に決定する（ステップＳ１０６）。これにより、予測画像Ｐ２０が背面画像となる。

【0116】

車両Ｃが停止していない、すなわち移動している場合（ステップＳ１０５；Ｎｏ）、画像処理装置１０は、予測線Ｌ２０を示す予測画像Ｐ２０を前面画像に決定する（ステップＳ１０７）。これにより、車幅画像Ｐ１０が背面画像となる。

【0117】

画像処理装置１０は、重複度および車幅画像Ｐ１０が前面画像か否かに応じて車幅画像Ｐ１０を選択する（ステップＳ１０８）。また、画像処理装置１０は、重複度および予測画像Ｐ２０が前面画像か否かに応じて予測画像Ｐ２０を選択する（ステップＳ１０９）。

【0118】

画像処理装置１０は、選択した車幅画像Ｐ１０および予測画像Ｐ２０を撮像画像に重畳して合成画像Ｐ３を生成し、生成した合成画像Ｐ３を表示部３１に表示させ（ステップＳ１１０）、処理を終了する。

【0119】

なお、ステップＳ１０８およびＳ１０９を実行する順序は、同時であったり、逆であったりしてもよい。

【0120】

また、ここでは、例えば車両Ｃのシフトレバーのポジションが「リア」に変更になったことを契機として画像表示処理を開始するとしたが、これに限られない。例えばシフトレバーのポジションが「ドライブ」に変更になった場合、すなわち車両Ｃが直進している場合に、画像表示処理を開始するようにしてもよい。あるいは、運転者の操作によって画像表示処理を開始するようにしてもよい。

【0121】

以上のように、画像処理装置１０は、車幅線Ｌ１０と予測線Ｌ２０との重複度に応じて、車幅線Ｌ１０の車幅画像Ｐ１０および予測線Ｌ２０の予測画像Ｐ２０を選択することで、車幅線Ｌ１０および予測線Ｌ２０といった車両Ｃに関する情報をより適切に運転者に表示することができる。

【0122】

＜４．変形例＞
図７は、本実施形態に係る画像処理装置１０の変形例を説明する図である。図１に示す画像処理装置１０は、車幅線Ｌ１０および予測線Ｌ２０のうち、前面に表示する線を、背面に表示する線が視認できるように表示している。

【0123】

本変形例では、さらに、車両Ｃの周囲に障害物Ｐ５が存在する場合に、車幅線Ｌ１０および予測線Ｌ２０を、障害物Ｐ５が視認できるように表示する。それ以外の構成要素および動作は実施形態にかかる画像処理装置１０と同じであるため説明を省略する。

【0124】

具体的には、画像処理装置１０が検出部１７をさらに備える。検出部１７は、撮像装置２０から入力される撮像画像から障害物Ｐ５を検出する。障害物Ｐ５としては、例えば車両Ｃの周囲に存在する人物や他の車両といった移動物体や、あるいは電柱や木といった静止物体などがあげられる。

【0125】

検出部１７は、撮像画像から上述したオプティカルフローを算出することで障害物Ｐ５を検出する（図８参照）。また、撮像画像とパターン画像とを照合することで障害物Ｐ５を検出するようにしてもよい。検出部１７は、検出した障害物Ｐ５を判定部１３に出力する。

【0126】

判定部１３は、検出部１７が検出した障害物Ｐ５と車幅線Ｌ１０との重複度である車幅線重複度を算出し、算出した車幅線重複度が所定の閾値Ｔｈ１以上であるか否かを判定する。

【0127】

判定部１３は、障害物Ｐ５と車幅線Ｌ１０とが重複する面積を車幅線重複度として算出する。あるいは、例えば障害物Ｐ５を枠で囲って表示する場合は、かかる枠と車幅線Ｌ１０とが重複する面積を車幅線重複度としてもよく、例えば障害物Ｐ５の近辺に警告マークを表示する場合は、かかる警告マークと車幅線Ｌ１０とが重複する面積を車幅線重複度としてもよい。

【0128】

判定部１３は、検出部１７が検出した障害物Ｐ５と予測線Ｌ２０との重複度である予測線重複度を算出し、算出した予測線重複度が所定の閾値Ｔｈ２以上であるか否かを判定する。予測線重複度は、車幅線重複度と同様に算出することができる。判定部１３は、判定結果を選択部１４に出力する。

【0129】

選択部１４は、判定部１３の判定結果に応じて車幅線Ｌ１０を示す車幅画像Ｐ１０および予測線Ｌ２０を示す予測画像Ｐ２０を選択する。選択部１４は、車幅線重複度が所定の閾値Ｔｈ１以上である場合、障害物Ｐ５が視認できる車幅画像として、背面が視認できる画像を選択する。図４に示す例では、選択部１４は、画像Ｐ１０ｂ〜Ｐ１０ｊの中から車幅画像Ｐ１０を選択する。

【0130】

車幅線重複度が所定の閾値Ｔｈ１未満である場合、選択部１４は、車幅線Ｌ１０および予測線Ｌ２０の重複度に応じて車幅画像Ｐ１０を選択する。

【0131】

選択部１４は、予測線重複度が所定の閾値Ｔｈ２以上である場合、障害物Ｐ５が視認できる予測画像として、背面が視認できる画像を選択する。図５に示す例では、選択部１４は、画像Ｐ２０ｂ〜Ｐ２０ｊの中から予測画像Ｐ２０を選択する。

【0132】

予測線重複度が所定の閾値Ｔｈ２未満である場合、選択部１４は、車幅線Ｌ１０および予測線Ｌ２０の重複度に応じて予測画像Ｐ２０を選択する。

【0133】

画像処理部１１は、撮像画像に車幅画像Ｐ１０、予測画像Ｐ２０および障害物Ｐ５を通知する画像を重畳して合成画像Ｐ３を生成する。画像処理部１１は、生成した合成画像Ｐ３を表示部３１に表示させる。障害物Ｐ５を通知する画像としては、例えばかかる障害物Ｐ５を囲う枠や警告マークなどがある。

【0134】

図８は、画像処理部１１が生成する合成画像Ｐ３の一例を示す図である。図８に示すように、画像処理部１１は、撮像画像に車幅線Ｌ１０を示す車幅ラインＬ１１、予測線Ｌ２０を示す予測ラインＬ２１および障害物Ｐ５を通知する画像（図８では枠線Ｌ４０）を重畳して合成画像を生成する。

【0135】

図８に示す例では、障害物Ｐ５と予測線Ｌ２０との予測線重複度が所定の閾値Ｔｈ２以上であるため、画像処理部１１は、予測ラインＬ２１を破線で表示する。また、車幅線Ｌ１０と予測線Ｌ２０との重複度は所定の閾値Ｔｈ未満であるため、画像処理部１１は、車幅ラインＬ１１を実線で表示する。

【0136】

このように、運転者に対して障害物Ｐ５を通知する場合に、車幅線Ｌ１０および予測線Ｌ２０として、かかる障害物Ｐ５を視認できる画像を選択する。これにより、障害物Ｐ５の通知を妨げることなく、車幅線Ｌ１０および予測線Ｌ２０といった車両Ｃに関する情報を運転者に対して提示することができる。

【0137】

図８に示す例では、かかる障害物Ｐ５を視認できる予測画像Ｐ２０として、２本の予測ラインＬ２１の両方とも背景画像を視認できるラインが描画された画像を選択するものとした。すなわち、２本の予測ラインＬ２１の両方とも破線で描画した画像を選択するものとしたが、これに限られない。

【0138】

例えば障害物Ｐ５と重複する予測ラインＬ２１を、背景画像を視認できるラインとし、重複しない予測ラインＬ２１を、背景画像を視認できないラインとする画像を選択するようにしてもよい。すなわち、障害物Ｐ５と重複する予測ラインＬ２１を破線で描画し、重複しない予測ラインＬ２１を実線で描画するようにしてもよい。

【0139】

なお、ここでは、車幅線Ｌ１０および予測線Ｌ２０として、かかる障害物Ｐ５を視認できる画像を選択するものとしたが、これに限られない。例えば障害物Ｐ５と重複する車幅線Ｌ１０あるいは予測線Ｌ２０を強調表示するようにしてもよい。

【0140】

車幅線Ｌ１０および予測線Ｌ２０はそれぞれ２本のラインで描画されるが、かかる２本のラインのうち障害物Ｐ５と重複するラインを強調表示する。これにより、障害物Ｐ５を運転者により強く提示することができるようになる。

【0141】

車幅線Ｌ１０あるいは予測線Ｌ２０を強調表示する方法としては、例えば重複する車幅線Ｌ１０あるいは予測線Ｌ２０を点滅させる、あるいは他の線とは異なる色で表示する、他の線より太い線で描画するといった方法がある。

【0142】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0143】

１ 周辺監視システム
１０ 画像処理装置
１１ 画像処理部
１２ 進行予測部
１３ 判定部
１４ 選択部
１５ 決定部
１６ 記憶部
１７ 検出部
２０ 撮像装置
３０ ナビゲーション装置
３１ 表示部
３２ 音声出力部
３３ 入力操作部
３４ 制御部
４０ シフトセンサ
５０ 車速センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】