特許 6906576 画像処理装置、画像処理方法および車載装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6906576

(24)【登録日】2021年7月1日

(45)【発行日】2021年7月21日

(54)【発明の名称】画像処理装置、画像処理方法および車載装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210708BHJP

   G06T 1/00 20060101ALI20210708BHJP

   B60R 1/00 20060101ALI20210708BHJP

   G08G 1/16 20060101ALI20210708BHJP

【ＦＩ】

   H04N7/18 J

   G06T1/00 330Z

   B60R1/00 A

   G08G1/16 C

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2019-160583(P2019-160583)

(22)【出願日】2019年9月3日

(62)【分割の表示】特願2015-89738(P2015-89738)の分割

【原出願日】2015年4月24日

(65)【公開番号】特開2020-74503(P2020-74503A)

(43)【公開日】2020年5月14日

【審査請求日】2019年9月11日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】小笹 隆幸

(72)【発明者】

【氏名】上林 輝彦

(72)【発明者】

【氏名】大西 康司

(72)【発明者】

【氏名】松本 武生

(72)【発明者】

【氏名】藤本 知之

(72)【発明者】

【氏名】山本 大輔

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２００６−１７１８４９（ＪＰ，Ａ）

【文献】 国際公開第２００９／１４４８９３（ＷＯ，Ａ１）

【文献】 特開２０１０−２１９５７６（ＪＰ，Ａ）

【文献】 特開２０１４−２２５８３６（ＪＰ，Ａ）

【文献】 特開平０８−０７０３９８（ＪＰ，Ａ）

【文献】 特開２０１４−１９８１０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０８Ｇ １／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、
前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の透過度に比べて、前記合成用画像の視認性が低下するように透明度を高めた前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理装置。

【請求項2】

撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、
前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の色に比べて、前記合成用画像の視認性が低下するように色を薄くした前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理装置。

【請求項3】

前記撮像部は、車両に配置され、
前記画像処理部は、予測される前記車両の走行軌跡を示すガイド線の画像を前記合成用画像として前記仮想視点の画像に合成する
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

撮像部の撮像画像に基づき、仮想視点からみた画像である仮想視点画像を生成する生成工程と、
前記仮想視点の画像上に合成用画像を表示した画像を生成する処理工程と、を備え、
前記処理工程は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の透過度に比べて、前記合成用画像の視認性が低下するように透明度を高めた前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理方法。

【請求項5】

撮像部の撮像画像に基づき、仮想視点からみた画像である仮想視点画像を生成する生成工程と、
前記仮想視点の画像上に合成用画像を表示した画像を生成する処理工程と、を備え、
前記処理工程は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の色に比べて、前記合成用画像の視認性が低下するように色を薄くした前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理方法。

【請求項6】

画像を表示する表示部と、
車両の周辺の画像を撮像し、当該撮像画像を出力する撮像部と、
前記撮像部の撮像画像に基づき、仮想視点の画像を生成する仮想視点画像生成部と、
合成用画像を生成する合成用画像生成部と、
前記仮想視点の画像上に合成用画像を表示した画像を生成して前記表示部に出力する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の透過度に比べて、前記合成用画像の視認性が低下するように透明度を高めた前記仮想視点の画像を前記表示部に出力する
ことを特徴とする車載装置。

【請求項7】

画像を表示する表示部と、
車両の周辺の画像を撮像し、当該撮像画像を出力する撮像部と、
前記撮像部の撮像画像に基づき、仮想視点の画像を生成する仮想視点画像生成部と、
合成用画像を生成する合成用画像生成部と、
前記仮想視点の画像上に合成用画像を表示した画像を生成して前記表示部に出力する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の色に比べて、前記合成用画像の視認性が低下するように色を薄くした前記仮想視点の画像を前記表示部に出力する
ことを特徴とする車載装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法および車載装置に関する。

【背景技術】

【0002】

従来、車両の所定位置に設置された撮像手段によって撮像した車両の周辺画像に基づいて仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像を表示手段に表示する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２４４２３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術においては仮想視点画像のみを表示するものであり、仮想視点画像を用いた表示をより適切に行うことができれば、より利便性が増し望ましいと考えられる。

【0005】

本発明は、上記に鑑みてなされたものであって、仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明は、画像処理装置において、撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部とを備え、前記画像処理部は、前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像の透明度を高めた前記仮想視点の画像を表示部に出力することを特徴とする。

【発明の効果】

【0007】

本発明によれば、仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る画像処理方法を示す説明図である。

【図2】図２は、本発明の実施形態に係る車載装置の構成例を示す図である。

【図3】図３は、撮像装置の配置例を示す図である。

【図4】図４は、合成用画像をガイド線の画像とした場合の合成部によって行われる合成処理の説明図である。

【図5】図５は、始点となる視点位置から終点となる視点位置にかけて視点位置が連続的に移動する場合の各視点位置の一例を示す図である。

【図6】図６は、仮想視点が移動する場合における画像処理部による処理内容を示す説明図である。

【図7】図７は、画像処理装置が実行する画像処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に、本発明に係る画像処理装置、画像処理方法および車載装置の実施形態を図面に基づいて詳細に説明する。

【0010】

［１．画像処理方法］
図１は、本発明の実施形態に係る画像処理方法を示す説明図であり、かかる画像処理方法は、例えば、車両に搭載される車両用画像処理装置（以下、画像処理装置と記載する）によって実行される。

【0011】

本実施形態に係る画像処理装置は、車両の所定位置に設置され車両の周辺を撮像する不図示の撮像装置（撮像部の一例）によって撮像された画像（以下、撮像画像と記載する）に基づき、図１（ａ）に示すように、仮想視点から見た画像（以下、仮想視点画像と記載する）を生成する。

【0012】

さらに、画像処理装置は、仮想視点画像に合成用画像を合成した合成画像を生成し、かかる合成画像を表示装置（表示部の一例）へ出力することによって、仮想視点画像上に合成用画像を表示した画像を表示装置へ表示する。

【0013】

合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像、警告画像および駐車スペースを示す画像などである。かかる合成用画像は、例えば、画像生成装置（図示せず）によって生成され、画像処理装置へ出力される。

【0014】

ガイド線は、例えば、車両に設けられた舵角センサ（図示せず）によって検出された舵角などに基づいて予測された車両の走行軌跡を示すガイド線の画像である。警告画像は、例えば、車両の後方に障害物が存在する場合にかかる障害物の位置を報知するための画像であり、例えば、障害物を囲む囲い線の画像である。なお、仮想視点に応じてガイド線、障害物および駐車スペースの位置が変わることから、画像生成装置は、仮想視点に応じた合成用画像を生成する。

【0015】

画像処理装置は、仮想視点の視点位置が移動中の仮想視点画像に合成用画像を合成する場合、仮想視点画像と合成用画像とが共に視点位置が連続して変化しながら表示されることになる。そのため、車両の乗員は、仮想視点画像および合成用画像の変化をそれぞれ視認しなければならず、画像の把握が難しくなるおそれがあり、また、距離感などの把握も難しくなるおそれがある。

【0016】

そこで、画像処理装置は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成用画像の視認性を低下させる処理を行うようにしている。これにより、車両の乗員は、画像や距離感などの把握を容易に行うことができる。

【0017】

例えば、画像処理装置は、図１（ｂ）に示すように、仮想視点画像が仮想視点の移動前後の視点位置Ａ、Ｂの画像である場合、仮想視点画像上に合成用画像が表示された画像を表示装置に出力する一方で、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、仮想視点画像上に合成用画像が表示されていない画像を表示装置に出力する。

【0018】

なお、合成用画像の視認性を低下させる処理は、合成用画像を合成せずに仮想視点画像を表示装置へ出力して合成用画像の視認性をゼロにする処理に限定されない。例えば、合成用画像の視認性を低下させる処理には、合成用画像の透過度を高めて仮想視点画像に合成した画像を表示装置へ出力する処理などがある。なお、以下においては、合成用画像を合成せずに仮想視点画像を表示装置へ出力する処理の例について詳細に説明する。

【0019】

［２．車載装置の構成］
図２は、本発明の実施形態に係る車載装置の構成例を示す図である。図２に示すように、車載装置１００は、撮像装置１（撮像部の一例）と、画像制御装置２と、画像処理装置３と、表示装置４（表示部の一例）とを備える。なお、画像処理装置３は、例えば、画像制御装置２および表示装置４の少なくとも一つを含む構成であってもよい。

【0020】

撮像装置１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した動画像である撮像画像を画像処理装置３へ出力する。かかる撮像装置１は、例えば、図３に示すように、車両５の後方部に配置され、車両５の後方を撮像する。図３は、撮像装置１の配置例を示す図である。なお、撮像装置１の配置および撮像装置１の数は、図３に示す例に限定されない。

【0021】

画像制御装置２は、合成用画像生成部６と、画像制御部７と、操作部８とを備える。合成用画像生成部６は、仮想視点画像にクロマキー合成を行うための合成用画像を生成して出力する。かかる合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像や警告画像である。

【0022】

合成用画像生成部６は、例えば、ガイド線の画像を生成する場合、車両に設けられた舵角センサ（図示せず）によって検出された舵角の情報などを取得し、かかる舵角などに基づいて車両の走行軌跡を予測する。合成用画像生成部６は、予測した走行軌跡を示すガイド線の画像を生成する。

【0023】

また、合成用画像生成部６は、例えば、警告画像を生成する場合、撮像装置１の撮像画像を解析し、車両の後方に存在する障害物を検出する。合成用画像生成部６は、車両の乗員に対し障害物の存在を報知するための警告画像を生成する。かかる警告画像は、例えば、障害物の位置を報知する画像であり、障害物を囲む囲い線の画像である。

【0024】

画像制御部７は、例えば、操作部８への入力操作などに基づき、画像処理装置３や合成用画像生成部６を制御する。画像制御部７は、操作部８への入力操作などにより仮想視点の変更要求がある場合、仮想視点の変更処理を行う。

【0025】

例えば、画像制御部７は、現在の仮想視点の視点位置（以下、視点位置Ａと記載する）から変更先の視点位置（以下、視点位置Ｂと記載する）への変更要求がある場合、視点位置Ｂの情報を合成用画像生成部６や画像処理装置３へ出力する。

【0026】

合成用画像生成部６は、画像制御部７から出力される視点位置Ｂの情報に基づき、視点位置Ｂに応じた合成用画像を生成し、画像処理装置３へ出力する。また、画像処理装置３は、画像制御装置２から出力される視点位置Ｂの情報に基づき、かかる視点位置Ｂまでの連続する視点位置から見た画像である仮想視点画像を生成する。

【0027】

画像処理装置３は、撮像装置１から撮像画像を取得すると共に、画像制御装置２から合成用画像を取得する。画像処理装置３は、取得した撮像画像に基づき、仮想視点の画像（以下、仮想視点画像と記載する）を生成し、かかる仮想視点画像と合成用画像とをクロマキー合成し、生成した合成画像を表示装置４へ出力する。

【0028】

表示装置４は、ＬＣＤ（Liquid Crystal Display）を備え、画像処理装置３から取得した合成画像や仮想視点画像のデータに基づき、合成画像や仮想視点画像を表示する。

【0029】

［３．画像処理装置３の構成］
画像処理装置３は、図２に示すように、画像生成部１１と、画像処理部１２と、動作管理部１３とを備える。なお、動作管理部１３は、画像生成部１１や画像処理部１２にそれぞれ設けられてもよい。

【0030】

画像生成部１１は、撮像装置１から出力される撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、画像処理部１２へ出力する。画像処理部１２は、画像制御装置２から出力される合成用画像を取得し、かかる合成用画像を仮想視点画像に合成して表示装置４へ出力する。動作管理部１３は、画像生成部１１および画像処理部１２の動作を管理する。

【0031】

かかる画像処理装置３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるデバイスである。また、画像処理装置３は、ＣＰＵやＭＰＵ等のプロセッサと、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子などの記憶部を備え、プロセッサが記憶部に記憶されたプログラムを実行することにより上述した各部位の機能を実現する構成であってもよい。

【0032】

画像生成部１１は、撮像画像取得部２１と、仮想視点画像生成部２２とを備える。撮像画像取得部２１は、撮像装置１から出力される撮像画像を取得する。撮像装置１は、例えば、ＲＧＢ信号やコンポーネント信号などの映像信号により撮像画像のデータ（以下、撮像画像データと記載する）を画像処理装置３へ出力する。

【0033】

撮像画像取得部２１は、撮像装置１から撮像画像データを取得すると、取得した撮像画像データを仮想視点画像生成部２２へ出力する。撮像画像データは、撮像装置１によって撮像される動画像の各フレームの画像に対応するデータであり、撮像画像取得部２１から撮像動画像のフレーム単位で順次仮想視点画像生成部２２へ出力される。

【0034】

仮想視点画像生成部２２は、撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像のデータ（以下、仮想視点画像データと記載する）を合成部３５へ出力する。

【0035】

かかる座標変換処理において、仮想視点画像生成部２２は、例えば、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。

【0036】

なお、所定の投影面は、例えば、仮想的な３次元空間における立体的な曲面であってもよく、図１（ａ）に示す路面であってもよい。また、所定の投影面への撮像画像の投影は、例えば、撮像装置１を原点座標とする撮像画像の座標を、投影面を基準とする座標系へ変換することによって行うことができる。

【0037】

画像処理部１２は、合成用画像取得部３１と、圧縮部３２と、記憶部３３と、伸張部３４と、合成部３５と、画質調整処理部３６と、画像出力部３７とを備える。

【0038】

合成用画像取得部３１は、画像制御装置２から出力される合成用画像を取得する。画像制御装置２は、例えば、ＲＧＢ信号やコンポーネント信号などの映像信号により合成用画像のデータ（以下、合成用画像データと記載する）を画像処理装置３へ出力する。合成用画像取得部３１は、画像制御装置２から合成用画像データを取得すると、取得した合成用画像データを圧縮部３２へ出力する。

【0039】

圧縮部３２は、所定の圧縮処理によって合成用画像データを圧縮し、圧縮した合成用画像データ（以下、圧縮画像データと記載する）を記憶部３３に記憶する。例えば、圧縮部３２は、合成用画像データが予め指定された色が使用されている場合、ＣＬＵＴ（Color Look-Up Table）を用いることでデータ圧縮を行うことができ、また、このように圧縮したデータをランレングス法によってさらに圧縮することができる。なお、ＣＬＵＴおよびランレングス法は一例であり、その他の圧縮処理を行ってもよい。

【0040】

伸張部３４は、記憶部３３に記憶された圧縮画像データを合成用画像データへ伸張する処理を行う。例えば、伸張部３４は、記憶部３３に記憶された圧縮画像データをランレングス法によって逆変換を行い、さらに、ＣＬＵＴによって逆変換を行うことによって圧縮画像データを合成用画像データへ伸張する処理を行う。

【0041】

合成部３５は、画像生成部１１から取得した仮想視点画像データと伸張部３４から取得した合成用画像データとに基づき、仮想視点画像上に合成用画像をクロマキー合成した合成画像のデータ（以下、合成画像データと記載する）を生成する。合成部３５は、例えば、合成用画像を構成する複数の画素のうち予め指定された色（例えば、青色）の画素の色を透過色にした後、かかる合成用画像を仮想視点画像上に合成する。

【0042】

かかる合成部３５は、例えば、動作管理部１３からの要求に応じて、仮想視点画像と合成用画像とを合成する合成機能をＯＮにしたり、合成機能をＯＦＦしたりする。合成部３５は、合成機能がＯＮである場合、仮想視点画像に合成用画像を合成し、合成機能がＯＦＦである場合、仮想視点画像と合成用画像との合成を行わずに、画像生成部１１から取得した仮想視点画像データを画質調整処理部３６へ出力する。

【0043】

図４は、合成用画像をガイド線の画像とした場合の合成部３５によって行われる合成処理の説明図である。図４に示す例では、合成部３５は、仮想視点画像にガイド線の画像を合成した合成画像を生成する。かかる合成画像によって、車両の乗員は、ガイド線が重畳された仮想視点画像を見ることができ、運転をより適切に行うことが可能となる。

【0044】

画質調整処理部３６は、合成部３５から出力される画像の画質を調整する処理を行い、かかる画質調整処理後の画像のデータを画像出力部３７へ出力する。画像出力部３７は、画質調整処理部３６からの画像のデータを表示装置４によって受信可能な映像信号のフォーマットへ変換して表示装置４へ出力する。

【0045】

動作管理部１３は、画像制御装置２から出力される移動先の視点位置Ｂの情報に基づいて、移動後の視点位置Ｂまでの連続する視点位置（以下、Ｃ_１〜Ｃ_ｎと記載する。ｎは自然数）を画像生成部１１へ出力する。これにより、画像生成部１１は、移動前の視点位置Ａから移動後の視点位置Ｂまでの間で連続する視点位置Ｃ_１〜Ｃ_ｎ（以下、視点位置Ｃと総称する場合がある）の仮想視点画像を順次生成して出力する。

【0046】

図５は、視点位置Ａから視点位置Ｂにかけて視点位置が連続的に移動する場合の各視点位置Ａ、Ｃ_１〜Ｃ_ｎ、Ｂの説明図であり、視点位置Ｃ_１〜Ｃ_ｎのうちＣ_ｎ／３、Ｃ_２ｎ／３のみを便宜的に示している。また、図５に示す例では、視点位置Ａから視点位置Ｂへ向かうほど視点位置の高さが高くなる。

【0047】

なお、視点位置Ａ、Ｂ間の視点位置Ｃの数は、視点位置Ａ、Ｂ間で連続して移動する視点位置の仮想視点画像を車両の乗員が例えばシームレスに視認できるような数であるが、コマ送り的に視認されるような数であってもよい。

【0048】

図２に戻って、動作管理部１３の説明を続ける。動作管理部１３は、画像処理部１２から仮想視点画像上に合成用画像が表示された画像を表示装置４へ出力させるか画像処理部１２から合成用画像が非表示の仮想視点画像を表示装置４へ出力させるかを制御することができる。

【0049】

動作管理部１３は、画像生成部１１から視点位置Ａ、Ｂの仮想視点画像が出力される場合、かかる仮想視点画像に合成用画像を合成した画像を画像処理部１２に生成させて出力させる。一方、動作管理部１３は、画像生成部１１から視点位置Ｃの仮想視点画像が出力される場合には、合成用画像を合成していない仮想視点画像を画像処理部１２から表示装置４へ出力させる。

【0050】

図６は、仮想視点が視点位置Ａから視点位置Ｂまで移動する場合における画像処理部１２による処理内容を示す説明図であり、垂直同期信号、仮想視点画像の視点位置、および、合成部３５による合成機能のＯＮ／ＯＦＦの対応が示されている。

【0051】

なお、図６においては、時刻ｔ２よりも前に、画像制御装置２から移動先の視点位置Ｂの情報を取得し、かかる情報に基づき、動作管理部１３が時刻ｔ２から視点位置を変更する例を示している。また、図６に示す垂直同期信号は、画像のフレーム単位の区切りを示すために便宜的に示されるものである。

【0052】

図６に示すように、動作管理部１３は、時刻ｔ２までは、移動前の視点位置Ａの仮想視点画像を画像生成部１１に生成させ、視点位置Ａの仮想視点画像に視点位置Ａに対応する合成用画像を合成した合成画像を画像処理部１２に生成させ出力させる。

【0053】

その後、動作管理部１３は、時刻ｔ２からｔ８まで、移動中の視点位置Ｃ_１〜Ｃ_６の仮想視点画像を画像生成部１１に生成させ、合成用画像と合成しない視点位置Ｃ_１〜Ｃ_６の仮想視点画像を画像処理部１２から出力させる。なお、図６に示す例では、１フレーム毎に視点が変わる例を示しているが、複数フレーム単位で視点が変わるようにしてもよい。

【0054】

画像処理部１２は、動作管理部１３からの制御に基づき、時刻ｔ２からｔ８までの間、伸張部３４による伸張処理および合成部３５による合成処理を停止させ、視点位置Ｃ_１〜Ｃ_６の仮想視点画像を合成部３５からそのまま画質調整処理部３６へ出力させる。これにより、合成用画像と非合成の視点位置Ｃ_１〜Ｃ_６の仮想視点画像が画像処理部１２から出力される。

【0055】

その後、動作管理部１３は、時刻ｔ８になると、移動停止後の視点位置Ｂの仮想視点画像を画像生成部１１に生成させて画像処理部１２へ出力させ、視点位置Ｂの仮想視点画像に視点位置Ｂに応じた合成用画像を合成した合成画像を画像処理部１２に生成させて表示装置４へ出力させる。

【0056】

視点位置Ｂに応じた合成用画像は、時刻ｔ８よりも前（例えば、時刻ｔ２の前または時刻ｔ３の前）に、画像制御装置２によって生成され画像処理装置３へ出力される。動作管理部１３は、画像処理部１２を制御し、画像制御装置２から出力される視点位置Ｂに応じた合成用画像のデータ圧縮後に記憶部３３に記憶させておく。

【0057】

そして、動作管理部１３は、伸張部３４によって記憶部３３に記憶された圧縮画像データを伸張させ伸張部３４から合成部３５へ出力させ、時刻ｔ８において、視点位置Ｂの仮想視点画像に視点位置Ｂに応じた合成用画像を合成部３５に合成させる。これにより、視点位置Ｂの仮想視点画像に視点位置Ｂに応じた合成用画像を合成した合成画像を画像処理部１２から出力させることができる。

【0058】

なお、画像処理部１２は、各視点位置に応じた合成用画像を予め画像制御装置２から取得し記憶部３３に記憶することもできる。この場合、動作管理部１３は、仮想視点画像の視点位置に応じた合成用画像を記憶部３３から取得し伸張部３４に伸張させて合成部３５へ出力させることができる。

【0059】

このように、画像処理部１２は、仮想視点画像が仮想視点の移動前後の視点位置の画像である場合、合成画像を表示装置４に表示し、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成画像に代えて仮想視点画像を表示装置４に表示する。これにより、車両の乗員は、仮想視点が移動中である場合の仮想視点画像および合成用画像をそれぞれ視認しなくてよいため、表示装置４に表示される仮想視点画像に基づいて距離感などの把握を容易に行うことができる。

【0060】

また、画像処理部１２は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、仮想視点画像と合成用画像との合成を停止することから、処理負荷を軽減することができる。

【0061】

また、画像処理部１２は、合成用画像として仮想視点に応じた画像を仮想視点の画像に合成する。そのため、共に視点位置が連続して変化する仮想視点画像と合成用画像とを同時に視認しなくてよいため、例えば、仮想視点画像から距離感などの把握しやすくなる。

【0062】

なお、上述した例では、合成用画像は、仮想視点の視点位置に応じた画像であるものとして説明したが、仮想視点の視点位置に応じて合成用画像が連続して変化しなくてもよい。このような場合であっても、視点位置が連続して変化する仮想視点画像に合成用画像を合成しないことによって、視認性が向上することから、仮想視点画像を用いた表示をより適切に行うことができる。

【0063】

［４．画像処理装置３の画像処理］
次に、図７を参照して画像処理装置３によって実行される画像処理について説明する。図７は、画像処理装置３が実行する画像処理手順を示すフローチャートである。

【0064】

図７に示すように、画像処理装置３の画像生成部１１および画像処理部１２は、画像取得処理を行う（ステップＳ１）。かかる処理において、画像生成部１１は、撮像装置１から撮像画像を取得し、画像処理部１２は、画像制御装置２から合成用画像を取得して記憶する。

【0065】

次に、画像生成部１１は、ステップＳ１において取得した撮像画像を座標変換処理によって仮想視点画像へ変換する（ステップＳ２）。また、動作管理部１３は、仮想視点の視点位置が移動中であるか否かを判定する（ステップＳ３）。

【0066】

ステップＳ３において、仮想視点の視点位置が移動中でないと判定された場合（ステップＳ３；Ｎｏ）、画像処理部１２は、ステップＳ１において記憶した合成用画像を取得し（ステップＳ４）、合成処理を行う（ステップＳ５）。かかる合成処理は、ステップＳ２において生成した仮想視点画像にステップＳ４で取得した合成用画像を合成することによって行う。

【0067】

ステップＳ３において、仮想視点の視点位置が移動中であると判定した場合（ステップＳ３；Ｙｅｓ）、または、ステップＳ５の処理が終了した場合、画像処理部１２は、表示装置４に出力する画像の画質調整を行い（ステップＳ６）、画質調整後の画像を出力し（ステップＳ７）、処理を終了する。

【0068】

以上のように、実施形態に係る画像処理装置３は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成画像に代えて仮想視点画像を表示装置４に出力するため、合成用画像の視認性を低下させることができ、仮想視点画像を用いた表示をより適切に行うことができる。

【0069】

なお、上述した実施形態では、画像処理装置３は、合成用画像を非表示にすることで、合成用画像の視認性をゼロにするが、合成用画像の透過度を高めたり色を薄くしたりすることによって、合成用画像の視認性を低下させることもできる。

【0070】

例えば、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成部３５は、移動中の視点位置に応じた合成用画像の透過度を高めたり色を薄くしたりする処理を行った後、仮想視点画像に合成用画像を合成することができる。また、画像処理装置３は、合成用画像上に仮想視点画像を合成することによって、合成用画像の視認性をゼロにすることもできる。

【0071】

また、上述した実施形態では、撮像装置１を車両後方に配置し、撮像装置１によって車両後方を撮像するものとして説明したが、例えば、運転を支援するために車両周辺を撮像するものであれば撮像装置１はどのような配置および撮像方向であってもよい。また、撮像装置１を複数の箇所に配置し、画像処理装置３は、複数の撮像装置１から出力される撮像画像に基づいて仮想視点画像を生成することもできる。

【0072】

また、上述した実施形態では、車両に搭載される車載装置１００を構成する画像処理装置３を一例として説明したが、画像処理装置３は、例えば、スマートフォンなどに内蔵される画像処理装置であってもよい。

【0073】

また、上述した実施形態では、合成用画像は、運転を支援するための指標となる画像を例に挙げて説明したが、例えば、利用者の利便性を高めるための合成用画像などであればよい。

【0074】

また、上述した実施形態では、仮想視点を移動する際に仮想視点の始点と終点の視点位置で合成画像を出力し、始点と終点との間の視点位置では合成画像を出力しない例を説明したが、かかる例に限定されない。

【0075】

例えば、画像処理部１２は、仮想視点の始点と終点との間にある１以上の視点位置で合成画像を出力することもできる。この場合、合成用画像の変化が断片的に把握できるため、仮想視点画像に基づいて距離感などの把握を容易に行いつつも、合成用画像の位置変化を容易に把握することができる。

【0076】

また、上述した実施形態では、一つの合成用画像を仮想視点画像に合成する例を説明したが、種類が異なる複数の合成用画像を仮想視点画像に合成することもできる。この場合、画像処理部１２は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、種類が異なる複数の合成用画像のうち少なくとも一つの合成用画像を仮想視点画像に合成しない等によって視認性を低下させる。このような場合であっても、仮想視点画像を用いた表示をより適切に行うことができる。

【0077】

この場合、画像処理部１２は、例えば、仮想視点画像に合成する合成用画像の色などを薄くする等、合成用画像を目立たないようにして仮想視点画像との合成処理を行うことができる。

【0078】

また、上述した実施形態では、画像処理装置３は、移動先の視点位置Ｂの情報を取得した場合に視点位置Ｃ_１〜Ｃ_ｎの情報を生成するものとして説明したが、視点位置Ｃ_１〜Ｃ_ｎは、画像制御装置２によって生成されて画像処理装置３へ出力することもできる。

【0079】

また、上述した実施形態では、画像処理装置３は、データ圧縮を行った合成用画像を記憶するものとして説明したが、画像処理装置３は、データ圧縮を行わずに合成用画像を記憶することもできる。

【0080】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0081】

１ 撮像装置（撮像部の一例）
２ 画像制御装置
３ 画像処理装置
４ 表示装置（表示部の一例）
５ 車両
６ 合成用画像生成部
７ 画像制御部
８ 操作部
１０ 撮像画像取得部
１１ 画像生成部
１２ 画像処理部
１３ 動作管理部
２１ 撮像画像取得部
２２ 仮想視点画像生成部
３１ 合成用画像取得部
３２ 圧縮部
３３ 記憶部
３４ 伸張部
３５ 合成部
３６ 画質調整処理部
３７ 画像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】