特許 7209442 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-12

(45)【発行日】2023-01-20

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230113BHJP

   G06T 1/00 20060101ALI20230113BHJP

   G08G 1/16 20060101ALI20230113BHJP

   B60R 1/00 20220101ALI20230113BHJP

【ＦＩ】

G06T7/00 650A

G06T1/00 330A

G08G1/16 C

B60R1/00

【請求項の数】 7

(21)【出願番号】P 2018147437

(22)【出願日】2018-08-06

(65)【公開番号】P2020024487

(43)【公開日】2020-02-13

【審査請求日】2021-07-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】縣 大輔

(72)【発明者】

【氏名】長福 加江

【審査官】佐藤 実

(56)【参考文献】

【文献】国際公開第２０１８／０６１２９４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

自車両の周辺を撮影するカメラで得られた撮影画像を取得する撮影画像取得部と、
前記撮影画像又は前記撮影画像を変換した変換画像に前記自車両を表す仮想車両の像を重畳して表示画像を生成する表示画像生成部と、
を備え、
前記表示画像生成部は、前記撮影画像又は前記変換画像と前記仮想車両の像との少なくとも一方を移動対象として前記表示画像の領域に対してユーザ操作を受け付ける操作部の出力と同時に、前記操作部の出力に基づいた前記移動対象の移動量に応じて連続的に移動させることができ、前記移動対象の拡大縮小率を前記移動に応じて調整する、画像処理装置。

【請求項2】

前記操作部は、前記表示画像を表示する表示画面上に設けられるタッチパネルであり、
前記表示画像生成部は、前記移動対象をドラッグする前記ユーザ操作に基づき前記移動対象を移動させる、請求項１に記載の画像処理装置。

【請求項3】

前記表示画像生成部は、前記自車両の予想進路に関する情報を取得し、前記予想進路に基づき前記移動対象を移動させる、請求項１に記載の画像処理装置。

【請求項4】

前記表示画像において障害物が存在する領域を推定する推定部と、
前記推定部によって推定された前記領域と前記仮想車両の像との位置関係に基づき警報信号を出力する警報部と、
をさらに備える、請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記表示画像生成部は、前記変換画像に前記仮想車両の像を重畳して前記表示画像を生成し、
前記変換画像は、仮想視点からみた仮想視点画像である、請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記仮想視点の視点位置が前記自車両の略真上であり、前記仮想視点の視線方向が前記自車両の略真下である場合、
前記表示画像生成部は、前記移動対象の拡大縮小を行わない、請求項５に記載の画像処理装置。

【請求項7】

自車両の周辺を撮影するカメラで得られた撮影画像を取得する撮影画像取得工程と、
前記撮影画像又は前記撮影画像を変換した変換画像に前記自車両を表す仮想車両の像を重畳して表示画像を生成する表示画像生成工程と、
を備え、
前記表示画像生成工程は、前記撮影画像又は前記変換画像と前記仮想車両の像との少なくとも一方を移動対象として前記表示画像の領域に対してユーザ操作を受け付ける操作部の出力と同時に、前記操作部の出力に基づいた前記移動対象の移動量に応じて連続的に移動させたときに前記移動対象の拡大縮小率を前記移動に応じて調整する調整工程を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関する。

【背景技術】

【0002】

自車両の前方に存在する障害物をセンサで検出し、自車両とセンサで検出された障害物との衝突可能性が所定レベルより大きいときに警報を発する運転支援システムが特許文献１で開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－１４５７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、衝突可能性の例示として、自車両と障害物との間の距離を自車両と障害物との相対速度で割って求まる時間に応じた値が挙げられている。そのため、例えば自車両が細い道で対向車両とのすれ違い走行を行う場合、特許文献１で開示されている運転支援システムは、すれ違い走行の可否にかかわらず警報を発すると考えられる。すなわち、特許文献１で開示されている運転支援システムは、障害物が存在する場所を自車両が通過しようとするときに役立つ情報をユーザに提供できるシステムではない。

【0005】

本発明は、上記課題に鑑みて、障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが容易に把握できる画像処理技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る画像処理装置は、自車両の周辺を撮影するカメラで得られた撮影画像を取得する撮影画像取得部と、前記撮影画像又は前記撮影画像を変換した変換画像に前記自車両を表す仮想車両の像を重畳して表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記撮影画像又は前記変換画像と前記仮想車両の像との少なくとも一方を移動対象として前記表示画像の領域に対してユーザ操作を受け付ける操作部の出力と同時に、前記操作部の出力に基づいた前記移動対象の移動量に応じて連続的に移動させることができ、前記移動対象の拡大縮小率を前記移動に応じて調整する構成（第１の構成）である。

【0007】

上記第１の構成の画像処理装置において、前記操作部は、前記表示画像を表示する表示画面上に設けられるタッチパネルであり、前記表示画像生成部は、前記移動対象をドラッグする前記ユーザ操作に基づき前記移動対象を移動させる構成（第２の構成）であってもよい。

【0008】

上記第１の構成の画像処理装置において、前記表示画像生成部は、前記自車両の予想進路に関する情報を取得し、前記予想進路に基づき前記移動対象を移動させる構成（第３の構成）であってもよい。

【0009】

上記第１～第３いずれかの構成の画像処理装置において、前記表示画像において障害物が存在する領域を推定する推定部と、前記推定部によって推定された前記領域と前記仮想車両の像との位置関係に基づき警報信号を出力する警報部と、をさらに備える構成（第４の構成）であってもよい。

【0010】

上記第１～第４いずれかの構成の画像処理装置において、前記表示画像生成部は、前記変換画像に前記仮想車両の像を重畳して前記表示画像を生成し、前記変換画像は、仮想視点からみた仮想視点画像である構成（第５の構成）であってもよい。

【0011】

上記第５の構成の画像処理装置において、前記仮想視点の視点位置が前記自車両の略真上であり、前記仮想視点の視線方向が前記自車両の略真下である場合、前記表示画像生成部は、前記移動対象の拡大縮小を行わない構成（第６の構成）であってもよい。

【0012】

本発明に係る画像処理方法は、自車両の周辺を撮影するカメラで得られた撮影画像を取得する撮影画像取得工程と、前記撮影画像又は前記撮影画像を変換した変換画像に前記自車両を表す仮想車両の像を重畳して表示画像を生成する表示画像生成工程と、を備え、前記表示画像生成工程は、前記撮影画像又は前記変換画像と前記仮想車両の像との少なくとも一方を移動対象として前記表示画像の領域に対してユーザ操作を受け付ける操作部の出力と同時に、前記操作部の出力に基づいた前記移動対象の移動量に応じて連続的に移動させたときに前記移動対象の拡大縮小率を前記移動に応じて調整する調整工程を含む構成（第７の構成）である。

【発明の効果】

【0013】

本発明によると、障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが容易に把握できる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係る画像処理装置の構成を示す図

【図2】フロントカメラが車両に配置される位置を例示する図

【図3】第１実施形態に係る画像処理装置の動作例を示すフローチャート

【図4】表示画像の一例を示す図

【図5】表示画像の一例を示す図

【図6】表示画像の一例を示す図

【図7】第２実施形態に係る画像処理装置の構成を示す図

【図8】第３実施形態に係る画像処理装置の構成を示す図

【図9】第３実施形態に係る画像処理装置の動作例を示すフローチャート

【図10】第４実施形態に係る画像処理装置の構成を示す図

【図11】仮想投影面の例を示す図

【図12】表示画像の一例を示す図

【図13】表示画像の一例を示す図

【図14】表示画像の一例を示す図

【発明を実施するための形態】

【0015】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0016】

＜１．第１実施形態＞
＜１－１．第１実施形態に係る画像処理装置の構成＞
図１は本実施形態に係る画像処理装置２０１の構成を示す図である。画像処理装置２０１は、例えば自動車などの車両に搭載されている。以下、画像処理装置２０１又は後述する他の実施形態に係る画像処理装置が搭載される車両を「自車両」という。また、自車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方」という。また、自車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方」という。

【0017】

図１に示すフロントカメラ１１、操作部１２、画像処理装置２０１、及び表示装置３１は自車両に搭載される。

【0018】

図２は、フロントカメラ１１が自車両Ｖ１に配置される位置を例示する図である。

【0019】

フロントカメラ１１は自車両Ｖ１の前端に設けられる。フロントカメラ１１の光軸１１ａは上からの平面視で自車両Ｖ１の前後方向に沿っている。フロントカメラ１１は自車両Ｖ１の前方向を撮影する。フロントカメラ１１の取付位置は、自車両Ｖ１の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

【0020】

本実施形態では、フロントカメラ１１の水平方向の画角θは１８０度以上である。しかしながら、フロントカメラ１１の水平方向の画角θは１８０度未満であってもよい。また、本実施形態とは異なり、フロントカメラ１１を自車両Ｖ１の車室内に設けてもよい。

【0021】

図１に戻って、フロントカメラ１１は、撮影画像を画像処理装置２０１に出力する。

【0022】

操作部１２は、ユーザ操作を受け付け、ユーザ操作の内容に応じた操作信号を出力する。操作部１２としては、例えば表示装置３１の表示画面上に設けられるタッチパネル、方向キー及び決定キーを含むキー群などを挙げることができる。本実施形態では、操作部１２は、撮影画像又はＣＧを移動対象として表示画像の領域に対して移動させるためのユーザ操作を受け付ける。

【0023】

画像処理装置２０１は、フロントカメラ１１から出力される撮影画像を処理し、処理後の画像を表示装置３１に出力する。

【0024】

表示装置３１は、自車両のドライバーが表示装置３１の表示画面を視認できる位置に設けられ、画像処理装置２０１から出力される画像を表示する。表示装置３１としては、例えばセンターコンソールに設置されるディスプレイ、運転席の対向位置に設置されるメータディスプレイ、フロントガラスに画像を投影するヘッドアップディスプレイなどを挙げることができる。

【0025】

画像処理装置２０１は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて画像処理装置２０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。

【0026】

画像処理装置２０１は、撮影画像取得部２１と、表示画像生成部２２と、を備える。

【0027】

撮影画像取得部２１は、フロントカメラ１１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、撮影画像取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。撮影画像取得部２１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、表示画像生成部２２に出力する。

【0028】

画像生成部２２は、ＣＧ（Computer Graphics）生成部２２ａと、移動量決定部２２ｂ、拡大縮小率調整部２２ｃと、重畳部２２ｄと、を備える。

【0029】

ＣＧ生成部２２ａは、自車両を表す仮想車両の背面画像ＣＧを生成する。なお、本実施形態では、自車両を表す仮想車両の像としてＣＧを用いるが、ＣＧの代わりに自車両の撮影画像を用いてもよい。

【0030】

移動量決定部２２ｂは、操作部１２から出力される操作信号に基づき移動対象の移動量を決定する。

【0031】

拡大縮小率調整部２２ｃは、移動対象の拡大縮小率を移動対象の移動量に応じて調整する。

【0032】

重畳部２２ｄは、撮影画像取得部２１から出力される撮影画像に、ＣＧ生成部２２ａによって生成されたＣＧを重畳して表示画像を生成する。

【0033】

＜１－２．第１実施形態に係る画像処理装置の動作＞
図３は、画像処理装置２０１の動作例を示すフローチャートである。

【0034】

操作部１２により、車両ＣＧの表示指示があると図３に示すフロー動作が開始される。重畳部２２ｄは、撮影画像取得部２１から出力される撮影画像に、ＣＧ生成部２２ａによって生成されたＣＧを初期位置で重畳して表示画像を生成する（ステップＳ１０）。撮影画像取得部２１から出力される撮影画像の初期位置は、例えば表示画像の領域の中心と撮影画像の領域の中心とが一致する位置にすればよい。ＣＧ生成部２２ａによって生成されたＣＧの初期位置は、例えば自車両から所定距離前方の位置にすればよい。なお、ＣＧ生成部２２ａによって生成されたＣＧの大きさは、撮影画像取得部２１から出力される撮影画像の大きさ、ＣＧ生成部２２ａによって生成されたＣＧの初期位置に基づいて設定するとよい。

【0035】

図４は、ステップＳ１０において生成される表示画像の一例である。図４及び後述する他の表示画像において、符号１は表示画像の領域を示しており、符号２は自車両を表す仮想車両の背面画像ＣＧを示している。

【0036】

ステップＳ１０に続くステップＳ２０において、表示画像生成部２２は、操作部１２から出力される操作信号に基づき、移動対象の移動を指示する操作が有ったかを判定する。

【0037】

例えば、操作部１２がタッチパネルである場合、ＣＧ２がユーザの指で表示画像の領域１の下方から上方にドラッグされると、ＣＧ２を移動対象として移動を指示する操作が有ったと判定すればよい。また例えば、表示画像のＣＧ２以外の部分がユーザの指で表示画像の領域１の上方から下方にドラッグされると、撮影画像を移動対象として移動を指示する操作が有ったと判定すればよい。

【0038】

移動対象の移動を指示する操作がないと判定された場合（ステップＳ２０のＮＯ）、表示画像生成部２２は、無操作期間が所定時間継続しているかを判定する（ステップＳ３０）。無操作期間が所定時間継続していなければ（ステップＳ３０のＮＯ）、ステップＳ２０に戻り、無操作期間が所定時間継続していれば（ステップＳ３０のＹＥＳ）、フロー動作を終了する。

【0039】

一方、移動対象の移動を指示する操作が有ったと判定された場合（ステップＳ２０のＹＥＳ）、移動量決定部２２ｂは、操作部１２から出力される操作信号に基づき移動対象の移動量を決定し、拡大縮小率調整部２２ｃは、移動対象の拡大縮小率を移動対象の移動量に応じて調整する（ステップＳ４０）。なお、移動量は、移動距離と移動方向を含む。移動対象を表示画像の領域１に対して自車両の進行方向に移動させる場合、移動距離が長いほど移動対象を縮小し、移動対象を表示画像の領域１に対して自車両の進行方向の逆方向に移動させる場合、移動距離が長いほど移動対象を拡大すればよい。移動対象の縮小率又は拡大率は、移動対象の移動距離の他、フロントカメラ１１の光軸１１ａの方向等に基づいて設定するとよい。

【0040】

ステップＳ４０に続くステップＳ５０において、重畳部２２ｄは、移動対象を移動させ且つ移動対象の拡大縮小率を調整した状態で撮影画像にＣＧ２を重畳し、その後ステップＳ２０に戻る。

【0041】

したがって、操作部１２がタッチパネルである場合、ＣＧ２がユーザの指で表示画像の領域１の下方から上方にドラッグされると、ＣＧ２が移動に伴い徐々に小さくなる。図５に示す表示画像は、ＣＧ２のドラッグが完了した時点における表示画像の一例である。また、表示画像のＣＧ２以外の部分がユーザの指で表示画像の領域１の上方から下方にドラッグされると、撮影画像が伴い徐々に大きくなる。図６に示す表示画像は、表示画像のＣＧ２以外の部分のドラッグが完了した時点における表示画像の一例である。

【0042】

図５に示す表示画像又は図６に示す表示画像のように、移動対象を移動させてＣＧ２と撮影画像中の障害物（例えばロードコーン）とを自車両の左右方向に沿って並べることで、障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが表示画面を見て容易に把握できる。

【0043】

また、ユーザ操作によって移動対象の移動量を変更することができるので、種々の条件で障害物が存在する場所を自車両が通過可能であるかをシミュレートすることができる。

【0044】

なお、本実施形態では、撮影画像又はＣＧのいずれかを移動対象としているが、撮影画像及びＣＧの両方を移動対象としてもよい。例えば、操作部１２がタッチパネルである場合、ユーザの親指がＣＧ２に触れユーザの人差し指が表示画像のＣＧ２以外の部分に触れている状態でピンチイン操作を行うことで、撮影画像及びＣＧ２の両方を互いに逆方向で表示画像の領域１に対して移動させてもよい。

【0045】

＜２．第２実施形態＞
図７は本実施形態に係る画像処理装置２０２の構成を示す図である。画像処理装置２０２は、予想進路情報取得部２３を備え、さらに表示画像生成部２２が操作部１２から出力される操作信号の代わりに予想進路情報取得部２３の出力信号を用いて移動対象を移動させる点で画像処理装置２０１と異なっており、それ以外の点では画像処理装置２０１と基本的に同様である。

【0046】

予想進路情報取得部２３は、自車両の車両制御ＥＣＵ（Electronic Control Unit）などから自車両の舵角情報、車速情報などを取得し、その取得した情報に基づいて自車両の予想進路に関する情報を生成することで自車両の予想進路に関する情報を取得する。なお、予想進路情報取得部２３は、自車両の車両制御ＥＣＵなどから自車両の予想進路に関する情報を取得してもよい。

【0047】

予想進路情報取得部２３は、取得した自車両の予想進路に関する情報を表示画像生成部２２に出力する。表示画像生成部２２は、自車両の予想進路の方向を仮想車両の背面画像ＣＧの移動方向として利用する、又は、自車両の予想進路の逆方向を撮影画像の移動方向として利用する。

【0048】

本実施形態に係る画像処理装置２０２によって生成される表示画像をユーザが確認することで、障害物が存在する場所を自車両が予想進路に沿って通過しようとするときに、事前に通過可能かをユーザが容易に把握できる。なお、本実施形態も第１実施形態と同様、操作部１２からの車両ＣＧの表示指示があると処理を行う。

【0049】

＜３．第３実施形態＞
図８は本実施形態に係る画像処理装置２０３の構成を示す図である。画像処理装置２０３は、推定部２４及び警報部２５を備える点で画像処理装置２０１と異なっており、それ以外の点では画像処理装置２０１と基本的に同様である。

【0050】

推定部２４は、表示画像において障害物が存在する領域を推定する。推定部２４は、フロントカメラ１１の撮影画像に基づいて、自車両の前方に存在し得る障害物を検知する。障害物候補物体の検知には、公知の画像認識技術を用いる。例えば、移動物である障害物候補物体の検知には背景差分方式を用いることができ、静止物である障害物候補物体の検知には移動ステレオ方式を用いることができる。なお、本実施形態では、画像認識技術を用いて障害物を検知したが、画像認識技術に加えて、又は、画像認識技術の代わりに、例えば、自車両に搭載したレーダ装置から出力される情報、クラウドセンターとの通信、車車間通信、路車間通信などで得られる情報などを用いて障害物を検知してもよい。

【0051】

警報部２５は、推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとの位置関係に基づき警報信号をスピーカ３２に出力する。

【0052】

自車両に設けられるスピーカ３２は、警報部２５から出力される警報信号に従って警報音を出力する。

【0053】

図９は、画像処理装置２０３の動作例を示すフローチャートである。図９に示すフローチャートは、図３に示すフローチャートにステップＳ６０及びＳ７０を追加したものである。

【0054】

図９に示すフローチャートでは、ステップＳ５０の処理が完了すると、ステップＳ６０に移行する。ステップＳ６０において、警報部２５は、推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとが重なっているかを判定する。

【0055】

推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとが重なっていないと判定された場合（ステップＳ６０のＮＯ）、ステップＳ２０に戻る。

【0056】

一方、推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとが重なっていると判定された場合（ステップＳ６０のＹＥＳ）、警報部２５が警告信号を出力し（ステップＳ７０）、その後ステップＳ２０に戻る。

【0057】

本実施形態に係る画像処理装置２０３によると、障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが警告の有無によって容易に把握できる。

【0058】

なお、本実施形態では、警報音によって警告を出力しているが、警報音の代わりに又は警報音に加えて警告の出力として警告表示を用いてもよい。また、本実施形態では、推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとが重なっている場合に警告が出力されるが、例えば、推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとの距離が所定距離以下になっている場合に、警告部２５が警告信号を出力するようにしてもよい。さらに、推定部２４によって推定された障害物が存在する領域と、仮想車両の背面画像ＣＧとの距離が所定距離以下になっている場合に、警告部２５が警告信号を出力する構成において、両者が重なっていない場合と両者が重なっている場合とで、警告の形態が異なるようにしてもよい。

【0059】

＜４．第４実施形態＞
図１０は本実施形態に係る画像処理装置２０４の構成を示す図である。画像処理装置２０４は、表示画像生成部２２が俯瞰画像部２２ｅを含み、重畳部２２ｄが撮影画像取得部２１から出力される撮影画像の代わりに俯瞰画像部２２ｅによって生成される俯瞰画像を用いる点で画像処理装置２０１と異なっており、それ以外の点では画像処理装置２０１と基本的に同様である。

【0060】

俯瞰画像部２２ｅは、撮影画像取得部２１から出力された撮影画像を仮想投影面に投影して投影画像に変換する。具体的には、俯瞰画像部２２ｅは、図１１に示す仮想的な三次元空間における仮想投影面１００の所定領域Ｒ１にフロントカメラ１１の撮影画像を投影して、フロントカメラ１１の撮影画像を投影画像に変換する。

【0061】

図１１に示す仮想投影面１００は、例えば略半球状（お椀形状）をしている。仮想投影面１００の中心部分（お椀の底部分）は、自車両Ｖ１が存在する位置として定められている。このように仮想投影面１００が曲面を含むようにすることで、自車両Ｖ１から離れた位置に存在する物体の像の歪みを少なくすることができる。

【0062】

俯瞰画像部２２ｅは、投影画像に基づいて仮想視点からみた仮想視点画像を生成する。具体的には、俯瞰画像部２２ｅは、投影画像を仮想投影面１００の所定領域Ｒ１に仮想的に貼り付ける。

【0063】

また、俯瞰画像部２２ｅは、仮想投影面１００が設定される仮想的な三次元空間において、仮想視点を設定する。仮想視点は、視点位置及び視野方向によって規定される。仮想投影面１００の少なくとも一部が視野に入る限り、仮想視点の視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。

【0064】

本実施形態では、仮想視点の視点位置を自車両の略真上とし、仮想視点の視野方向を自車両の略真下とする。これにより、俯瞰画像部２２ｅによって生成される仮想視点画像がいわゆるトップビューの俯瞰画像となる。トップビューの俯瞰画像では、同じ大きさの物体は自車両の近傍に存在する場合でも自車両の遠方に存在する場合でも同一の大きさで写ることになる。したがって、拡大縮小率調整部２２ｃは、移動対象の拡大縮小率を略１に調整する。あるいは、拡大縮小率調整部２２ｃは、拡大縮小を行わない。

【0065】

なお、本実施形態とは異なり、仮想視点の視点位置を自車両より後方且つ上方とし、仮想視点の視野方向を自車両の前方且つ下方としてもよい。この場合には第１実施形態等と同様に、移動対象を表示画像の領域１に対して自車両の進行方向に移動させるのであれば、移動距離が長いほど移動対象を縮小し、移動対象を表示画像の領域１に対して自車両の進行方向の逆方向に移動させるのであれば、移動距離が長いほど移動対象を拡大すればよい。移動対象の縮小率又は拡大率は、移動対象の移動距離の他、フロントカメラ１１の光軸１１ａの方向、仮想視点の視点位置等に基づいて設定するとよい。

【0066】

俯瞰画像部２２ｅは、設定した仮想視点に応じて、仮想投影面１００における必要な領域（仮想視点からみえる領域）の画像を仮想的に切り出した俯瞰画像を生成する。

【0067】

図１２は、ＣＧ生成部２２ａによって生成されたＣＧを初期位置でトップビューの俯瞰画像に重畳して生成される表示画像の一例である。図１３に示す表示画像は、ＣＧ２のドラッグが完了した時点における表示画像の一例である。図１４に示す表示画像は、表示画像のＣＧ２以外の部分のドラッグが完了した時点における表示画像の一例である。

【0068】

本実施形態に係る画像処理装置２０４によると、障害物が存在する場所を自車両が通過しようとするときに、事前に通過可能かをユーザが俯瞰画像を含む表示画像を見て把握できる。したがって、撮影画像を含む表示画像を見て自車両が通過可能かを把握するよりも把握が容易になる。

【0069】

また、俯瞰画像がトップビューの俯瞰画像である場合には、フロントカメラ１１からの距離が互いに異なるＣＧ２と障害物との重なりがなくなるので、俯瞰画像を含む表示画像見て自車両が通過可能かを把握することがより一層容易になる。また、俯瞰画像がトップビューの俯瞰画像である場合には、拡大縮小率を略１に固定したり、拡大縮小を行わないようにできるので、拡大縮小率の調整処理にかかる負担を軽減することができる。

【0070】

＜５．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

【0071】

例えば上述した実施形態では、自車両の進行方向は前方であったが、自車両の後方向を撮影するバックカメラを自車両に設け、画像処理装置がバックカメラの撮影画像を取得する構成にすれば、自車両の進行方向が後方であるときにも本発明を適用することができる。

【0072】

例えば上述した実施形態では、ロードコーンを障害物の一例として示しているが、障害物は当然の事ながらロードコーンに限定されない。例えば、他車両、歩行者、看板などを障害物に含めるとよい。また、例えば橋の欄干を障害物に含めることで、幅の狭い橋を自車両が渡れるかどうかを事前にユーザが容易に把握できる。また、例えば側溝を障害物に含めることで、自車両が脱輪することなく通過できるかどうかを事前にユーザが容易に把握できる。

【0073】

例えば上述した実施形態では、仮想車両の背面画像ＣＧが自車両の前方に直進している像であったが、移動対象が移動する方向に応じた方向を向いている像にしてもよい。これにより、ユーザは、仮想車両の背面画像ＣＧと表示画像内の障害物との位置関係をより正確に把握することができる。

【符号の説明】

【0074】

１１ フロントカメラ
１２ 操作部
２１ カメラ画像取得部
２２ 表示画像生成部
２０１～２０４ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】