特許 6501805 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6501805

(24)【登録日】2019年3月29日

(45)【発行日】2019年4月17日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20190408BHJP

   B60R 21/00 20060101ALI20190408BHJP

   H04N 7/18 20060101ALI20190408BHJP

   G06T 1/00 20060101ALI20190408BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 991

   H04N7/18 J

   G06T1/00 330A

【請求項の数】5

【全頁数】18

(21)【出願番号】特願2017-248(P2017-248)

(22)【出願日】2017年1月4日

(65)【公開番号】特開2018-109875(P2018-109875A)

(43)【公開日】2018年7月12日

【審査請求日】2018年1月12日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】畠山 友希子

(72)【発明者】

【氏名】清 幸栄

(72)【発明者】

【氏名】武内 環

(72)【発明者】

【氏名】土生田 理恵

(72)【発明者】

【氏名】元廣 彬翔

(72)【発明者】

【氏名】佐藤 智之

(72)【発明者】

【氏名】前島 康平

(72)【発明者】

【氏名】坂口 敦俊

(72)【発明者】

【氏名】高橋 将寛

【審査官】 久保田 創

(56)【参考文献】

【文献】 特開２０１６−０５２８６７（ＪＰ，Ａ）

【文献】 特開２０１４−０５２２７４（ＪＰ，Ａ）

【文献】 特開２０１０−０４８７１６（ＪＰ，Ａ）

【文献】 特許第４０３９３２１（ＪＰ，Ｂ２）

【文献】 特開２００７−０４３３１８（ＪＰ，Ａ）

【文献】 特開２０１２−０６５２２５（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１６２８００（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された車両周囲の撮像画像を取得する画像取得部と、
車両周囲に存在する障害物の検出位置に関する位置情報を取得する情報取得部と、
前記撮像画像に基づいて仮想視点から前記車両周囲をみた仮想視点画像を生成する生成部と、
前記仮想視点画像における前記検出位置に前記障害物の存在を通知する通知画像を合成する合成部と、
前記位置情報に基づいて前記仮想視点画像に合成する前記通知画像の表示形態を制御する表示制御部と、
前記仮想視点画像における前記障害物の表示位置が前記検出位置と異なる場合に、前記障害物が地面よりも高い位置に存在すると判定する判定部と、
を備え、
前記情報取得部は、
前記障害物を検出する検出装置から前記位置情報を取得し、
前記表示制御部は、
前記検出装置の検出範囲を示す範囲画像を前記車両からの距離に応じて複数の領域に分割し、
前記複数の領域のうち前記障害物の検出位置に対応する領域に表示される前記通知画像を生成すると共に、前記障害物が前記地面よりも高い位置に存在すると前記判定部が判定した場合に、前記通知画像の表示形態を強調表示に変更し、
前記合成部は、
前記通知画像、または前記表示形態が強調表示に変更された通知画像を前記範囲画像と共に前記仮想視点画像に合成すること
を特徴とする画像処理装置。

【請求項2】

前記合成部は、
地面上に描画されたようにみえる前記範囲画像を、前記仮想視点画像に合成すること
を特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記合成部は、
複数の前記検出装置の前記検出範囲の境界線を含む前記範囲画像を前記仮想視点画像に合成すること
を特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記合成部は、
前記範囲画像を所定角度の範囲で前記仮想視点画像に合成し、前記位置情報に基づき該所定角度を変えること
を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。

【請求項5】

画像処理装置によって行われる画像処理方法において、
撮像装置によって撮像された車両周囲の撮像画像を取得する工程と、
車両周囲に存在する障害物の検出位置に関する位置情報を取得する工程と、
前記撮像画像に基づいて仮想視点から前記車両周囲をみた仮想視点画像を生成する工程と、
前記仮想視点画像における前記検出位置に前記障害物の存在を通知する通知画像を合成する工程と、
前記位置情報に基づいて前記仮想視点画像に合成する前記通知画像の表示形態を制御する工程と、
前記仮想視点画像における前記障害物の表示位置が前記検出位置と異なる場合に、前記障害物が地面よりも高い位置に存在すると判定する工程と、
を含み、
前記位置情報を取得する工程は、
前記障害物を検出する検出装置から前記位置情報を取得し、
前記表示形態を制御する工程は、
前記検出装置の検出範囲を示す範囲画像を前記車両からの距離に応じて複数の領域に分割し、
前記複数の領域のうち前記障害物の検出位置に対応する領域に表示される前記通知画像を生成すると共に、前記障害物が前記地面よりも高い位置に存在すると前記判定する工程で判定した場合に、前記通知画像の表示形態を強調表示に変更し、
前記通知画像を合成する工程は、
前記通知画像、または前記表示形態が強調表示に変更された通知画像を前記範囲画像と共に前記仮想視点画像に合成すること
を特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、例えばレーダ装置等のセンサを用いて車両周囲に存在する障害物を検出し、検出結果をユーザに提示する装置が知られている。例えば、特許文献１では、障害物を検出した場合に、センサの検出範囲をカメラで撮像した撮像画像に重畳して表示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１８８０５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術は、障害物の位置を容易に認識させるという点でさらなる改善の余地がある。

【0005】

例えば、上述した従来技術では、障害物を検出可能な範囲をユーザに提示しているに過ぎず、検出した障害物そのものの位置をユーザに提示しているわけではない。そのため、ユーザが障害物を見落としてしまう可能性がある。

【0006】

本発明は、上記に鑑みてなされたものであって、障害物の位置を容易に認識させることができる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像取得部と、情報取得部と、生成部と、合成部と、判定部と、表示制御部と、を備える。画像取得部は、撮像装置が車両周囲を撮像した撮像画像を取得する。情報取得部は、車両周囲に存在する障害物の検出位置に関する位置情報を取得する。生成部は、撮像画像に基づいて仮想視点から車両の周囲をみた仮想視点画像を生成する。合成部は、仮想視点画像における検出位置に障害物の存在を通知する通知画像を合成する。表示制御部は、前記位置情報に基づいて合成画像に合成する通知画像の表示形態を制御する。

【発明の効果】

【0008】

本発明によれば、障害物の位置を容易に認識させることができる。

【図面の簡単な説明】

【0009】

【図1A】図１Ａは、実施形態に係る障害物提示システムの概要を示す図である。

【図1B】図１Ｂは実施形態に係る障害物提示システムの概要を示す図である。

【図1C】図１Ｃは実施形態に係る障害物提示システムの概要を示す図である。

【図2】図２は、実施形態に係る障害物提示システムの構成を示すブロック図である。

【図3】図３は、実施形態に係る撮像装置の配置例を示す図である。

【図4A】図４Ａは、実施形態に係る判定部による判定処理の一例を説明する図である。

【図4B】図４Ｂは、実施形態に係る判定部による判定処理の一例を説明する図である。

【図5】図５は、実施形態に係る範囲画像を説明するための図である。

【図6】図６は、実施形態に係る範囲画像を説明するための図である。

【図7】図７は、実施形態に係る範囲画像を説明するための図である。

【図8】図８は、実施形態に係る通知画像を説明するための図である。

【図9】図９は、実施形態に係る合成部が生成する合成画像の一例を示す図である。

【図10】図１０は、実施形態に係る画像処理装置が実行する画像生成処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

【0011】

（１．障害物提示システムの概要）
図１Ａ〜図１Ｃを用いて、実施形態に係る障害物提示システム１の概要について説明する。図１Ａ〜図１Ｃは、実施形態に係る障害物提示システム１の概要を説明する図である。障害物提示システム１は、車両に搭載され、車両周辺の障害物を検出しユーザ（運転者）に提示する。

【0012】

障害物提示システム１は、撮像装置が撮像した車両周辺の撮像画像を座標変換して、車両周囲を仮想視点からみた仮想視点画像を生成する。また、障害物提示システム１は、仮想視点画像における障害物の検出位置に、当該障害物の存在を通知する通知画像を合成する。なお、障害物提示システム１のレーダ装置が障害物の位置を検出するものとする。このとき、障害物提示システム１は、障害物が例えばガードレールなど地面よりも高い位置に存在するか否かに応じて合成する通知画像の表示形態を変更する。

【0013】

これは、障害物が地面よりも高い位置に存在する場合、仮想視点画像における通知画像の位置（障害物の検出位置）と、仮想視点画像上に写る障害物の位置とが異なってしまうためである。すなわち、障害物の検出位置はレーダ装置で検出した位置であるため、仮想視点画像の座標に合わせて座標変換すると、仮想視点画像上において実際に障害物が存在する位置に表示される。

【0014】

一方、撮像画像では障害物の高さまでは検出できない。そのため、障害物提示システム１は、撮像画像上の障害物は地面と同じ高さであるとして仮想視点画像を生成する。そのため、仮想視点画像上の障害物は、実際の障害物よりも遠い位置に存在するものとして表示される。

【0015】

このように、地面より高い位置に存在する障害物は、仮想視点画像上ではレーダ装置による検出位置と異なる位置に表示されてしまう。そのため、例えば仮想視点画像上の障害物そのものをユーザが確認すると、かかる障害物が実際の障害物の検出位置より遠くに位置すると誤認してしまう可能性がある。

【0016】

そこで、実施形態に係る障害物提示システム１では、障害物が例えばガードレールなど地面よりも高い位置に存在するか否かに応じて合成する通知画像の表示形態を変更する。例えば、障害物が地面よりも高い位置に存在する場合は、通知画像を強調表示する。

【0017】

これにより、仮想視点画像上の障害物とレーダ装置による検出位置とがずれる場合であっても、ユーザに対して適切に障害物の位置を提示でき、ユーザが障害物の位置をより容易に確認することができる。

【0018】

障害物提示システム１は、画像処理装置１０と、撮像装置２０と、レーダ装置３０と、表示装置５０と、を備える。

【0019】

撮像装置２０は、例えば車両の周囲に配置されるカメラ（図示せず）を複数有する。撮像装置２０の各カメラは、車両の周辺を一定の周期で撮像する。

【0020】

レーダ装置３０は、車両周辺に電波を放射し、障害物に反射した反射波を受信することで、車両周辺に存在する障害物を検出する。さらに、レーダ装置３０は、障害物の位置として例えば車両から障害物までの距離（以下、障害物の位置情報と記載する）を検出する。

【0021】

画像処理装置１０は、撮像装置２０が撮像した撮像画像を座標変換し、仮想視点からみた仮想視点画像を生成する。画像処理装置１０は、仮想視点画像に車両画像や通知画像を合成した合成画像を生成し、表示装置５０に出力する。画像処理装置１０は、画像取得部１１０と、情報取得部１２０と、生成部１３０と、表示制御部１５０と、合成部１６０と、判定部１８０と、を備える。

【0022】

画像取得部１１０は、撮像装置２０から撮像画像を取得する。情報取得部１２０は、レーダ装置３０から障害物の位置情報を取得する。

【0023】

生成部１３０は、画像取得部１１０が取得した撮像画像に対して座標変換処理を行って、車両を仮想視点からみた仮想視点画像を生成する。

【0024】

判定部１８０は、生成部１３０が生成した仮想視点画像および情報取得部１２０が取得した障害物の位置情報に基づいて障害物が地面から所定の高さ以上の位置に存在するか否かを判定する。

【0025】

判定部１８０は、例えば障害物の位置情報に基づいて仮想視点画像上の障害物が存在する位置（検出位置）に障害物が写っているか否かを判定することで、障害物が地面から所定の高さ以上の位置に存在するか否かを判定する。

【0026】

判定部１８０は、仮想視点画像上の障害物が存在する位置を含む領域に障害物が写っているか否かを、例えばパターンマッチング等で判定する。障害物が写っている場合は、障害物が所定の高さより低い位置に存在すると判定する。また、障害物が写っていない場合は、障害物が地面から所定の高さ以上の位置に存在すると判定する。

【0027】

表示制御部１５０は、障害物の位置情報基づいて通知画像の表示形態を制御する。また、表示制御部１５０は、判定部１８０の判定結果に基づいて通知画像の表示形態を制御する。表示制御部１５０は、障害物が地面から所定の高さ以上の位置に存在する場合、障害物の存在を示す通知画像を強調表示するよう合成部１６０を制御する。

【0028】

合成部１６０は、生成部１３０が生成した仮想視点画像に、車両の外観を仮想視点からみた車両画像を合成する。また、合成部１６０は、情報取得部１２０が取得した障害物の位置情報に基づき、仮想視点画像の障害物が存在する位置（障害物の検出位置）に障害物の存在を示す通知画像を合成する。

【0029】

このとき、合成部１６０は、表示制御部１５０の制御に基づき、障害物が地面から所定の高さ以上の位置に存在する場合、障害物の存在を示す通知画像を強調表示する。

【0030】

図１Ｂおよび図１Ｃに、合成部１６０が生成する合成画像の一例を示す。図１Ｂは、通知画像を強調表示しない場合の合成画像Ｐ１を示しており、図１Ｃは、強調表示した場合の合成画像Ｐ２を示している。図１Ｂ、図１Ｃの例では、合成部１６０は、真上から車両をみた俯瞰画像に通知画像Ｐｓを合成する。なお、図１Ｂ、図１Ｃに示す範囲画像Ｒは、レーダ装置３０の検出範囲を示す画像である。範囲画像Ｒの詳細については図５〜図７を用いて後述する。

【0031】

図１Ｂに示す合成画像Ｐ１では、通知画像Ｐｓが細い線で表示されている。一方、図１Ｃに示す合成画像Ｐ２では、通知画像Ｐｓが太い線で強調表示されている。また、図１Ｃでは、障害物である棒Ｓが通知画像Ｐｓより上に表示されており、実際の障害物の位置（通知画像Ｐｓの表示位置）とずれている。

【0032】

そのため、ユーザが合成画像Ｐ２の棒Ｓを確認すると、棒Ｓが実際の位置よりも遠くにあると誤認して車両を前進させる可能性がある。そこで、図１Ｃに示すように、合成画像Ｐ２では通知画像Ｐｓを強調表示することで、障害物が近くに存在し、衝突の危険性が高いことをユーザに報知する。これにより、ユーザは、障害物の位置をより正確に認識することができる。

【0033】

表示装置５０は、例えばディスプレイを備え、合成部１６０が生成した合成画像Ｐ１、Ｐ２を表示する。これにより、ユーザに障害物を提示することができる。

【0034】

このように、実施形態に係る画像処理装置１０は、仮想視点画像に車両画像および通知画像Ｐｓを合成する。このとき、画像処理装置１０は、障害物が地面よりも高い位置に存在するか否かに応じて通知画像Ｐｓの表示形態を変更する。これにより、ユーザが障害物の位置を容易に確認することができる。

【0035】

（２．障害物提示システムの詳細）
次に、図２〜図９を参照して、実施形態に係る障害物提示システム１の詳細について説明する。図２は、実施形態に係る障害物提示システム１の構成を示すブロック図である。なお、図２では、実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0036】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0037】

図２に示すように、障害物提示システム１は、撮像装置２０、レーダ装置３０、センサ４０、画像処理装置１０および表示装置５０を備える。

【0038】

（２．１．撮像装置）
撮像装置２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた車載カメラ２０ａ〜２０ｄを複数有する。撮像装置２０は、車載カメラ２０ａ〜２０ｄで撮像した撮像画像を画像処理装置１０に出力する。

【0039】

例えば図３に示すように、車載カメラ２０ａは車両Ｃの前方に配置され、車載カメラ２０ｂは車両Ｃの後方に配置される。また、車載カメラ２０ｃは車両Ｃの右方に配置され、車載カメラ２０ｄは車両Ｃの左方に配置される。車載カメラ２０ａ〜２０ｄは、それぞれ車両の前方、後方、右方および左方をそれぞれ撮像方向として撮像を行う。なお、図３は、撮像装置２０の配置例を示す図である。

【0040】

また、車載カメラ２０ａ〜２０ｄのレンズには魚眼レンズなどの広角レンズが採用され、各車載カメラ２０ａ〜２０ｄは１８０度以上の画角を有している。車載カメラ２０ａ〜２０ｄを用いることで、車両Ｃの全周囲を撮像することが可能である。なお、図３に示す車載カメラ２０ａ〜２０ｄの配置や数は一例であり、これに限定されない。車両Ｃの周囲画像を撮像できればよく、車載カメラの台数は４台より少なくても多くてもよい。

【0041】

（２．２．レーダ装置）
レーダ装置３０は、例えば複数のミリ波レーダ３０ａ〜３０ｄを備える。ミリ波レーダ３０ａ〜３０ｄは、図３に示すように車両Ｃの前方に配置され、車両Ｃ前方に存在する障害物を検出する。レーダ装置３０は、車両Ｃから障害物までの距離や方位などの位置情報を検出する。レーダ装置３０は検出した位置情報を画像処理装置１０に出力する。

【0042】

なお、図３に示すレーダ装置３０の配置や数は一例であり、これに限定されない。例えば車両Ｃの後方にもレーダ装置を設け、車両Ｃ後方の障害物を検出するようにしてもよい。また、車両Ｃの前方に配置されるミリ波レーダの数は４つより多くても少なくてもよい。

【0043】

（２．３．画像処理装置）
図２に示す画像処理装置１０は、撮像装置２０が撮像した撮像画像を座標変換して仮想視点画像を生成する。画像処理装置１０は、仮想視点画像に、車両Ｃの進行予測線や車両画像、通知画像等を合成して表示装置５０に出力する。

【0044】

画像処理装置１０は、ＣＰＵ（Central Processing Unit）および記憶部１７０などを備えたマイクロコンピュータである。画像処理装置１０は、例えばＥＣＵ（Electric Control Unit）に実装される。

【0045】

画像処理装置１０のＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、画像取得部１１０、情報取得部１２０、生成部１３０、進行予測部１４０、表示制御部１５０、合成部１６０および判定部１８０として機能する。

【0046】

また、画像取得部１１０、情報取得部１２０、生成部１３０、進行予測部１４０、表示制御部１５０、合成部１６０および判定部１８０の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0047】

（２．３．１．画像取得部）
画像取得部１１０は、撮像装置２０が撮像した撮像画像を順次取得する。画像取得部１１０が取得する撮像画像には、撮像装置２０の車載カメラ２０ａ〜２０ｄ（図３参照）が撮像した撮像画像が含まれる。画像取得部１１０は、取得した撮像画像を生成部１３０に出力する。

【0048】

（２．３．２．情報取得部）
情報取得部１２０は、レーダ装置３０から車両Ｃの周辺に存在する障害物の検出位置を含む位置情報を取得する。情報取得部１２０は、取得した位置情報を表示制御部１５０に出力する。

【0049】

（２．３．３．生成部）
生成部１３０は、画像取得部１１０が取得した撮像画像に対して座標変換処理を行うことにより、車両Ｃの周囲を任意の仮想視点からみた仮想視点画像を生成する。なお、かかる仮想視点は、後述する表示制御部１５０の視点位置決定部１５５が決定する。

【0050】

生成部１３０は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち任意の仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。

【0051】

例えば、生成部１３０は、撮像画像に含まれるデータ位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像画像に含まれるデータを、所定の投影面の対応する位置に投影する。

【0052】

かかる所定の投影面は、例えば略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、お椀の底部分以外の部分）は、車両Ｃの周囲の領域に相当する。なお、所定の投影面は曲面でなくともよく、例えば平面であってもよい。

【0053】

生成部１３０は、生成した仮想視点画像を合成部１６０に出力する。

【0054】

（２．３．４．進行予測部）
進行予測部１４０は、センサ４０の出力結果に基づき、車両Ｃの進行経路を予測する。進行予測部１４０は、例えば車両Ｃの速度が一定値以下になった場合に車両Ｃの進行経路を予測する。センサ４０には、例えばステアリング操舵角を検出するステアリングセンサや、シフト状態を検出するシフトセンサが含まれる。

【0055】

進行予測部１４０は、シフト状態に基づいて車両Ｃの進行方向を予測する。例えば、進行予測部１４０は、車両Ｃのシフト状態が「ドライブ」であれば、車両Ｃの進行方向は前方であると予測する。

【0056】

進行予測部１４０は、ステアリング操舵角に基づいて車両Ｃの進行角度を予測する。例えば、進行予測部１４０は、ステアリング操舵角、車両Ｃの寸法および旋回半径などから車両Ｃが発進した場合の進行角度を予測する。

【0057】

進行予測部１４０は、予測した進行方向および進行角度に基づいて、車両Ｃが発進した場合の予測経路を予測する。進行予測部１４０は、予測経路を表示制御部１５０に出力する。

【0058】

（２．３．５．判定部）
判定部１８０は、情報取得部１２０が取得した障害物の位置情報および生成部１３０が生成した仮想視点画像に基づいて障害物が地面から所定の高さ以上の位置に存在するか否かを判定する。

【0059】

図４Ａおよび図４Ｂを用いて判定部１８０による判定処理について説明する。図４Ａおよび図４Ｂは、実施形態に係る判定部１８０による判定処理の一例を説明する図である。

【0060】

図４Ａに示すように、車両Ｃの前方に地面よりも高い位置に障害物Ｓが存在する場合について説明する。この場合、判定部１８０は、図４Ｂに示すように、車両Ｃを真上からみた仮想視点画像において、レーダ装置３０が検出した位置Ｐ（以下、実位置Ｐとも記載する）に障害物Ｓが存在するか否かを判定する。判定部１８０は、例えば仮想視点画像からパターンマッチングやエッジ検出等を用いて仮想視点画像に写る障害物Ｓを検出する。

【0061】

図４Ｂに示すように、仮想視点画像に写る障害物Ｓの位置とレーダ装置３０が検出した実位置Ｐとが異なる場合、判定部１８０は、障害物Ｓが地面から所定の高さ以上の位置に存在すると判定する。

【0062】

一方、判定部１８０は、検出した障害物Ｓの位置が、レーダ装置３０が検出した実位置Ｐと同じである場合、障害物が地面から所定の高さより低い位置に存在すると判定する。判定部１８０は、判定結果を表示制御部１５０に出力する。

【0063】

なお、ここでは、判定部１８０が仮想視点画像に対してパターンマッチングやエッジ検出等の処理を施すことで仮想視点画像から障害物Ｓを検出するとしたが、これに限定されない。例えばレーダ装置３０が障害物Ｓの高さも検出できる場合、レーダ装置３０が検出した高さに基づいて障害物Ｓが地面から所定の高さ以上の位置に存在するか否かを判定してもよい。

【0064】

また、判定部１８０は、仮想視点画像の実位置Ｐを含む所定の範囲のみを探索して障害物Ｓを検出するようにしてもよい。このように、仮想視点画像の所定の範囲から障害物Ｓを検出することで、判定部１８０による検出処理の処理量を低減することができる。

【0065】

（２．３．６．表示制御部）
表示制御部１５０は、合成部１６０で仮想視点画像に合成する画像を決定することで、表示装置５０に表示させる表示画像を制御する。表示制御部１５０は、進行予測線、車両画像、通知画像Ｐｓおよび障害物の検出範囲を示す範囲画像の少なくとも一つを仮想視点画像に合成すると決定する。また、表示制御部１５０は、表示色や強調表示の有無など合成する画像の表示形態を決定する。

【0066】

表示制御部１５０は、予測線決定部１５１と、範囲画像決定部１５２と、通知画像決定部１５３と、視点位置決定部１５５と、を備える。

【0067】

（予測線決定部）
予測線決定部１５１は、進行予測部１４０が予測経路を予測した場合に、予測した予測経路を示す進行予測線を仮想視点画像に合成すると決定することで、表示装置５０に進行予測線を表示すると決定する。例えば進行予測部１４０が、車両Ｃが左折する経路を予測したとする。この場合、予測線決定部１５１は、車両Ｃの右側前輪から伸びる進行予測線Ｌ１を仮想視点画像に合成すると決定する。

【0068】

（範囲画像決定部）
範囲画像決定部１５２は、レーダ装置３０の検出範囲を示す範囲画像Ｒを表示装置５０に表示すると決定する。

【0069】

まず、図５〜図７を用いて範囲画像Ｒについて説明する。図５〜図７は、実施形態に係る範囲画像Ｒを説明するための図である。まず、図５および図６を用いて範囲画像Ｒの形状について説明する。

【0070】

図５に示すように、範囲画像Ｒには、複数の範囲Ｒａ〜Ｒｄが含まれる。各範囲Ｒａ〜Ｒｄはそれぞれミリ波レーダ３０ａ〜３０ｄの検出範囲に対応する。図５に示すように、範囲画像Ｒでは、各範囲Ｒａ〜Ｒｄの境界線を示している。これにより、ミリ波レーダ３０ａ〜３０ｄの検出範囲をそれぞれ視覚的に確認することができる。

【0071】

また、図５に示すように、範囲Ｒａ〜Ｒｄは同心円状の扇形状の範囲として表現される。このとき、図６に示すように、車両Ｃの形状に合わせて実際の検出範囲を仮想視点画像上に表示すると、範囲画像Ｒが壁となって車両Ｃの前に立っているように見えてしまう。そこで、図５に示す扇形の中心角θを、図６に示す範囲画像Ｒの中心角θ１よりも狭くすることで、範囲Ｒａ〜Ｒｄの扇形形状を強調する。これにより、画像処理装置１０は、仮想視点画像上で範囲画像Ｒを地面上に表示されているように表現することができる。

【0072】

このように、範囲画像Ｒを所定角度で仮想視点画像に表示するときに、障害物の位置や車両Ｃと範囲画像Ｒとの位置関係に基づき該所定角度を変える。これにより、ユーザに範囲画像Ｒを適切に提示することができる。

【0073】

なお、図５に示す範囲画像Ｒは、レーダ装置３０が障害物を検出した場合にユーザに通知する範囲であって、実際にレーダ装置３０が障害物を検出可能な範囲とは異なっていてもよい。すなわち、表示制御部１５０は、情報取得部１２０が取得した位置情報に基づいて障害物が範囲Ｒａ〜Ｒｄに含まれる場合にユーザに当該障害物を通知する。かかる点については図８を用いて後述する。

【0074】

また、図５に示す例では、範囲画像Ｒに４つの範囲Ｒａ〜Ｒｄが含まれるとしたが、これに限定されない。範囲画像Ｒに含まれる範囲の数は４つより少なくてもよく、多くてもよい。

【0075】

次に図７を用いて範囲画像Ｒの表示形態について説明する。図７に示すように、各範囲Ｒａ〜Ｒｄ内は黒色で表示される。このとき、範囲Ｒａ〜Ｒｄ内を透過させる。これにより、範囲Ｒａ〜Ｒｄと重複する仮想視点画像を容易に確認することができる。また図７では、範囲Ｒａ〜Ｒｄの境界線を黒色で図示しているが、例えば背景色が暗い場合に、範囲Ｒａ〜Ｒｄの境界線を例えば白色で表示する。これにより、範囲Ｒａ〜Ｒｄをより容易に視認することができる。また、境界線を白色で表示する際、範囲Ｒａ〜Ｒｄの外側に向けて所定範囲に渡って放射状かつ色彩を段階的に薄くして表示する、いわゆるフレア状の表示を加えてもよい。この場合、境界線が強調され、範囲Ｒａ〜Ｒｄをより明瞭に判別することができる。

【0076】

（通知画像決定部）
図２に戻る。通知画像決定部１５３は、情報取得部１２０が障害物の位置情報を取得した場合、すなわち車両Ｃの周辺に障害物が存在している場合に、通知画像Ｐｓを表示装置５０に表示すると決定する。

【0077】

通知画像決定部１５３は、情報取得部１２０が取得した位置情報に基づき、仮想視点画像において、障害物が存在する位置に通知画像Ｐｓを表示すると決定する。

【0078】

まず、通知画像決定部１５３は、障害物が検出範囲のどこに位置するかを判定する。具体的に表示制御部１５０は、検出範囲に含まれる範囲Ｒａ〜Ｒｄを複数の領域に分割し、分割したどの領域に障害物が存在するかを判定する。例えば図８では、範囲Ｒａ、Ｒｂを４つの領域に分割しており、範囲Ｒｃ、Ｒｄを５つの領域に分割している。なお、図８は、実施形態に係る通知画像Ｐｓを説明するための図である。

【0079】

ここで、図８に示すように、範囲Ｒａの領域Ｒａ１、範囲Ｒｂの領域Ｒｂ４、範囲Ｒｃの領域Ｒｃ２および範囲Ｒｄの領域Ｒｄ３内にそれぞれ障害物が位置するものとする。なお、図８では、障害物の位置を点Ｓ１〜Ｓ４として表している。この場合、通知画像決定部１５３は、各領域Ｒａ１、Ｒｂ４、Ｒｃ２、Ｒｄ３を、通知画像Ｐｓを表示する領域に決定する。

【0080】

通知画像決定部１５３は、各領域Ｒａ１、Ｒｂ４、Ｒｃ２、Ｒｄ３を所定の表示色で塗りつぶした画像を通知画像Ｐｓとする。通知画像決定部１５３は、かかる表示色を障害物までの距離に応じて変更する。

【0081】

例えば、図８の範囲Ｒａを例にとって説明すると、範囲Ｒａの領域Ｒａ１〜Ｒａ４のうち、車両Ｃに近い領域Ｒａ１、Ｒａ２内に障害物が存在する場合、通知画像決定部１５３は、危険度が高いとして通知画像Ｐｓの表示色を赤色に決定する。また、通知画像決定部１５３は、車両Ｃから遠い領域Ｒａ３、Ｒａ４内に障害物が存在する場合は、危険度が低いとして通知画像Ｐｓの表示色を黄色に決定する。

【0082】

図７に示すように、領域Ｒａ１、Ｒｃ２は車両Ｃに近いため、通知画像決定部１５３は、領域Ｒａ１、Ｒｃ２内に表示する通知画像Ｐｓ１、Ｐｓ２の表示色を赤色に決定する。一方、領域Ｒｄ３、Ｒｂ４は車両Ｃから遠いため、通知画像決定部１５３は、領域Ｒｄ３、Ｒｂ４内に表示する通知画像Ｐｓ３、Ｐｓ４の表示色を黄色に決定する。

【0083】

このとき、例えば範囲画像決定部１５２が領域Ｒａ２を含む範囲Ｒａの表示色を通知画像Ｐｓの表示色と同じ赤色にすると決定してもよい。これにより、危険度が高い障害物の存在を、注目度をあげてユーザに報知することができる。

【0084】

また、図７及び図８に示される領域Ｒｃ、Ｒｄは、領域の中は外側の枠線だけ残して透過させてもよい。この場合、領域Ｒｃ、Ｒｄに重複する障害物を参照することができる。また、領域Ｒｃ、Ｒｄは、中心から外側の枠線へ向けて枠線の色にグラデーションさせてもよい。この場合、領域Ｒｃ、Ｒｄの外側の範囲を容易に参照することができる。なお、特に領域Ｒａ、Ｒｂより外側の部分について透過又はグラデーションさせることが好ましい。これは、この部分が障害物に重複しやすいからである。

【0085】

また、通知画像決定部１５３は、障害物の位置情報基づいて通知画像Ｐｓを強調表示させるか否かを決定する。通知画像決定部１５３は、障害物の位置情報基づいて障害物が地面から所定の高さ以上の位置に存在すると判定した場合、通知画像Ｐｓの境界線を太線で表示することで通知画像Ｐｓを強調表示させる。また、通知画像決定部１５３は、判定部１８０の判定結果に基づいて通知画像Ｐｓを強調表示させるか否かを決定する。通知画像決定部１５３は、障害物が地面から所定の高さ以上の位置に存在すると判定部１８０が判定した場合、通知画像Ｐｓの境界線を太線で表示することで通知画像Ｐｓを強調表示させる。

【0086】

あるいは、通知画像決定部１５３は、通知画像Ｐｓを点滅表示させることで通知画像Ｐｓを強調表示させてもよい。また通知画像決定部１５３は、障害物の高さに基づいて通知画像Ｐｓの表示色の濃淡を変更してもよい。この場合、通知画像決定部１５３は、障害物が存在する位置が高いほど通知画像Ｐｓが濃く表示されるようにする。

【0087】

また、通知画像決定部１５３は、例えば領域Ｒｄ３、Ｒｂ４のように、通常は黄色で表示される領域であっても、障害物が所定の高さ以上の位置に存在する場合は、赤色で通知画像Ｐｓを表示させるようにしてもよい。

【0088】

（視点位置決定部）
図２に戻る。視点位置決定部１５５は、進行予測部１４０の予測経路に基づいて表示装置５０に表示する仮想視点画像の仮想視点位置を決定する。

【0089】

例えば、車両Ｃが直進すると進行予測部１４０が予測した場合、視点位置決定部１５５は、車両Ｃの真上（上方）を仮想視点位置に決定する。

【0090】

（２．３．７．合成部）
合成部１６０は、表示制御部１５０の決定に従い、生成部１３０が生成した仮想視点画像に進行予測線等を合成して合成画像を生成する。

【0091】

例えば、車両Ｃの周辺に障害物が存在する場合、合成部１６０は、仮想視点画像に、進行予測線、範囲画像Ｒ、通知画像Ｐｓおよび車両画像を合成する。この場合、合成部１６０は、表示制御部１５０の指示に従い、障害物が所定の高さ以上の位置に存在する場合は、通知画像Ｐｓを強調表示する。

【0092】

図９を用いて、合成部１６０が生成する合成画像の一例について説明する。図９は、実施形態に係る合成部１６０が生成する合成画像の一例を示す図である。図９の例では、合成部１６０は、車両Ｃを真上からみた仮想視点画像に通知画像Ｐｓ等を合成して合成画像Ｐ４を生成する。

【0093】

図９に示すように合成画像Ｐ４には、車両画像Ｐｃ、進行予測線Ｌ１、範囲画像Ｒおよび通知画像Ｐｓ１１〜Ｐｓ１３が合成されている。また、通知画像Ｐｓ１２は強調表示されている。また、図９では、車両Ｃから一定の距離を示すガイド線Ｌ２、Ｌ３が合成されている。このように、画像処理装置１０は、進行予測線Ｌ１以外のガイド線を表示するようにしてもよい。また、通知画像Ｐｓ１１〜Ｐｓ１３は、障害物に接近するほどに、幅を太く表示してもよい。この場合、障害物により接近していることを容易に認識できる。

【0094】

一方、車両Ｃの周囲に障害物が存在しない場合、合成部１６０は、進行予測線Ｌ１、範囲画像Ｒおよび車両画像Ｐｃを合成して合成画像を生成する。

【0095】

なお、合成部１６０は、例えば記憶部１７０に記憶される車両画像情報１７１や範囲画像情報１７２に基づいて仮想視点画像に車両画像Ｐｃや範囲画像Ｒを合成する。

【0096】

（２．３．８．記憶部）
記憶部１７０は、車両画像情報１７１や範囲画像情報１７２など画像処理装置１０の各部の処理で用いる情報が記憶される。また、記憶部１７０は、各部の処理結果を記憶する。

【0097】

記憶部１７０は、例えばＲＡＭやＨＤＤを備える。ＲＡＭやＨＤＤは、例えば画像処理装置１０の各部が実行する処理に応じた各種プログラムの情報等を記憶することができる。なお、画像処理装置１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して各種プログラムの情報等を取得するようにしてもよい。

【0098】

（２．４．表示装置）
表示装置５０は、例えば車両Ｃに搭載されるディスプレイである。表示装置５０は、画像処理装置１０が生成する表示画像を表示する。例えば車両Ｃにナビゲーション装置（図示せず）が搭載される場合、表示装置５０は当該ナビゲーション装置が備えるディスプレイであってもよい。

【0099】

（３．画像生成処理）
次に、図１０を用いて、実施形態に係る画像処理装置１０が実行する画像生成処理の処理手順について説明する。図１０は、実施形態に係る画像処理装置１０が実行する画像生成処理の処理手順を示すフローチャートである。

【0100】

画像処理装置１０は、例えば車両Ｃが一定速度以下で直進する場合に図１０の画像生成処理を実行する。

【0101】

画像処理装置１０は、例えば撮像装置２０が撮像画像を撮像する一定間隔ごとに図１０の画像生成処理を実行する。なお、画像処理装置１０が画像生成処理を実行する間隔は、かかる一定間隔に限定されない。画像処理装置１０は、例えば複数の撮像画像を取得するごと、すなわち一定間隔より長い周期で画像生成処理を実行してもよい。

【0102】

図１０に示すように、画像処理装置１０は、まず、撮像装置２０から撮像画像を取得する（ステップＳ１０１）。画像処理装置１０は、取得した撮像画像に基づいて仮想視点画像を生成する（ステップＳ１０２）。

【0103】

次に、画像処理装置１０は、情報取得部１２０が位置情報を取得したか否かに応じて障害物を検出したか否かを判定する（ステップＳ１０３）。障害物を検出していない場合（ステップＳ１０３のＮｏ）、画像処理装置１０はステップＳ１０７に進む。

【0104】

一方、障害物を検出した場合（ステップＳ１０３のＹｅｓ）、画像処理装置１０は、障害物が所定の高さ以上の位置に存在するか否かを判定する（ステップＳ１０４）。障害物が所定の高さよりも低い位置に存在する場合（ステップＳ１０４のＮｏ）、画像処理装置１０は、通知画像Ｐｓを仮想視点画像に合成する（ステップＳ１０５）。

【0105】

一方、障害物が所定の高さ以上の位置に存在する場合（ステップＳ１０４のＹｅｓ）、画像処理装置１０は、通知画像Ｐｓを強調表示させて仮想視点画像に合成する（ステップＳ１０６）。

【0106】

画像処理装置１０は、仮想視点画像に進行予測線Ｌ１および範囲画像Ｒを合成し（ステップＳ１０７）、車両画像Ｐｃを合成して合成画像を生成する（ステップＳ１０８）。画像処理装置１０は、生成した合成画像を表示装置５０に出力することで、合成画像を表示する（ステップＳ１０９）。

【0107】

なお、ステップＳ１０７およびステップＳ１０８の処理は順番を入れ替えてもよい。

【0108】

また、ここでは、画像処理装置１０が、障害物が所定の高さ以上の位置に存在するか否かに応じて通知画像Ｐｓを強調表示させていたが、これに限定されない。例えば、画像処理装置１０が、障害物を検出した場合（ステップＳ１０３のＹｅｓ）に、ステップＳ１０６に進み、直ちに通知画像Ｐｓを強調表示させて仮想視点画像に合成してもよい。すなわち、ステップＳ１０４およびステップＳ１０５を省略してもよい。画像処理装置１０が、障害物の高さによらず、障害物の検出位置に基づいて通知画像Ｐｓの表示形態を制御することで、ユーザが障害物の位置を容易に確認することができる。

【0109】

以上のように、実施形態に係る障害物提示システム１は、仮想視点画像に車両画像Ｐｃおよび通知画像Ｐｓを合成した合成画像を表示装置５０に表示する。このとき、障害物が存在する高さに応じて通知画像Ｐｓを強調表示する。これにより、ユーザが障害物の位置を容易に確認することができる。

【0110】

（４．効果）
上記実施形態に係る画像処理装置１０は、画像取得部１１０と、情報取得部１２０と、生成部１３０と、合成部１６０と、判定部１８０と、表示制御部１５０と、を備える。画像取得部１１０は、撮像装置２０が車両Ｃ周囲を撮像した撮像画像を取得する。情報取得部１２０は、車両Ｃ周囲に存在する障害物の検出位置に関する位置情報を取得する。生成部１３０は、撮像画像に基づいて仮想視点から車両Ｃの周囲をみた仮想視点画像を生成する。合成部１６０は、仮想視点画像における検出位置に障害物の存在を通知する通知画像Ｐｓを合成する。表示制御部１５０は、位置情報に基づいて仮想視点画像に合成する通知画像Ｐｓの表示形態を制御する。

【0111】

これにより、ユーザが障害物をより容易に認識することができる。

【0112】

上記実施形態に係る画像処理装置１０の表示制御部１５０は、位置情報に基づいて通知画像Ｐｓを強調表示する。

【0113】

これにより、ユーザに適切に障害物の位置を報知することができる。

【0114】

上記実施形態に係る画像処理装置１０の情報取得部１２０は、障害物を検出する検出装置（レーダ装置３０）から検出位置に関する情報を取得する。合成部１６０は、検出装置（レーダ装置３０）の検出範囲を示す範囲画像Ｒを仮想視点画像に合成する。

【0115】

これにより、ユーザが検出装置の検出範囲を認識することができるようになり、障害物を検出したか否かを容易に確認できるようになる。

【0116】

上記実施形態に係る画像処理装置１０の合成部１６０は、地面上に描画されたようにみえる範囲画像Ｒを、仮想視点画像に合成する。

【0117】

これにより、ユーザがレーダ装置３０の検出範囲をより容易に認識することができるようになる。

【0118】

上記実施形態に係る画像処理装置１０の合成部１６０は、複数の検出装置（ミリ波レーダ３０ａ〜３０ｄ）の検出範囲の境界線を含む範囲画像Ｒを仮想視点画像に合成する。

【0119】

これにより、ユーザが複数のミリ波レーダ３０ａ〜３０ｄの検出範囲をより容易に認識することができるようになる。

【0120】

上記実施形態に係る画像処理装置１０の合成部１６０は、範囲画像Ｒを所定角度の範囲で仮想視点画像に合成し、位置情報に基づき該所定角度を変える。

【0121】

これにより、ユーザに範囲画像Ｒを適切に提示することができる。

【0122】

上記実施形態に係る画像処理装置１０は、仮想視点画像における障害物の表示位置が検出位置と異なる場合に、障害物が地面よりも高い位置に存在すると判定する判定部１８０をさらに備える。表示制御部１５０は、障害物が地面よりも高い位置に存在すると判定部１８０が判定した場合に、仮想視点画像に合成する通知画像Ｐｓの表示形態を制御する。

【0123】

これにより、画像処理装置１０は、障害物が地面よりも高い位置に存在するか否かを判定することができる。また、画像処理装置１０は、判定結果に基づいて通知画像Ｐｓの表示形態を制御することで、危険度に応じてより適切に障害物を報知することができる。

【0124】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0125】

１ 障害物提示システム
１０ 画像処理装置
１１０ 画像取得部
１２０ 情報取得部
１３０ 生成部
１４０ 進行予測部
１５０ 表示制御部
１６０ 合成部
１８０ 判定部
２０ 撮像装置
３０ レーダ装置
５０ 表示装置

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】