特許 6575445 車両用画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6575445

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】車両用画像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190909BHJP

   G06T 1/00 20060101ALI20190909BHJP

   B60R 1/00 20060101ALI20190909BHJP

【ＦＩ】

   H04N7/18 J

   G06T1/00 330A

   B60R1/00 A

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2016-121160(P2016-121160)

(22)【出願日】2016年6月17日

(65)【公開番号】特開2017-68826(P2017-68826A)

(43)【公開日】2017年4月6日

【審査請求日】2017年12月18日

(31)【優先権主張番号】特願2015-194335(P2015-194335)

(32)【優先日】2015年9月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】渡邊 一矢

(72)【発明者】

【氏名】久保田 尚孝

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１３−２０７６３７（ＪＰ，Ａ）

【文献】 特開２００５−１８６９０６（ＪＰ，Ａ）

【文献】 特開２００７−９１１５７（ＪＰ，Ａ）

【文献】 特開２００８−１４９８７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された前記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、
前記視点画像と前記仮想投影面における特定の位置を示す標示画像とを含む出力画像を生成する出力画像生成部と、
前記仮想投影面を変更可能な可変設定部と、
を備え、
前記可変設定部は、
車両の状況に応じて前記仮想投影面を変更可能であり、
車両の速度が第一の速度である場合にあっては、車両遠方に該当する箇所が急峻に立ち上がる仮想投影面を設定し、
車両の速度が第一の速度よりも低い第二の速度である場合にあっては、車両近傍から車両遠方にかけて緩やかに立ち上がる仮想投影面か、または車両近傍に該当する箇所が急峻に立ち上がる仮想投影面を設定する、車両用画像処理装置。

【請求項2】

車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された前記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、
前記視点画像と前記仮想投影面における特定の位置を示す標示画像とを含む出力画像を生成する出力画像生成部と、
車両の上下方向における第二の高さに位置した参照位置と、前記参照位置よりも前記車両に近い第一の投影面と、前記参照位置よりも車両から遠く前記第一の投影面よりも勾配が大きい第二の投影面と、を有した仮想投影面を、車両の状況に応じて変更可能な可変設定部と、
車両の周囲の物体のうち前記第二の投影面に投影する投影物を設定する投影物設定部と、
車両から前記投影物までの第二の距離を検出する距離検出部と、
を備え、
前記可変設定部は、前記第二の距離が大きいほど前記参照位置が車両から遠ざかるよう、前記仮想投影面を設定する、車両用画像処理装置。

【請求項3】

車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された前記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、
前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
前記仮想投影面を変更可能な可変設定部と、
を備え、
前記可変設定部は、
車両の状況に応じて前記仮想投影面を変更可能であり、
車両の速度が第一の速度である場合にあっては、車両遠方に該当する箇所が急峻に立ち上がる仮想投影面を設定し、
車両の速度が第一の速度よりも低い第二の速度である場合にあっては、車両近傍から車両遠方にかけて緩やかに立ち上がる仮想投影面か、または車両近傍に該当する箇所が急峻に立ち上がる仮想投影面を設定する、車両用画像処理装置。

【請求項4】

車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された前記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、
前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
車両の上下方向における第二の高さに位置した参照位置と、前記参照位置よりも前記車両に近い第一の投影面と、前記参照位置よりも車両から遠く前記第一の投影面よりも勾配が大きい第二の投影面と、を有した仮想投影面を、車両の状況に応じて変更可能な可変設定部と、
車両の周囲の物体のうち前記第二の投影面に投影する投影物を設定する投影物設定部と、
車両から前記投影物までの第二の距離を検出する距離検出部と、
を備え、
前記可変設定部は、前記第二の距離が大きいほど前記参照位置が車両から遠ざかるよう、前記仮想投影面を設定する、車両用画像処理装置。

【請求項5】

前記可変設定部は、前記参照位置が前記投影物よりも車両に近くなるように、前記仮想投影面を設定する、請求項２または４に記載の車両用画像処理装置。

【請求項6】

前記標示画像は、前記仮想投影面の、車両の上下方向における所定高さの部位を示す、請求項１〜５のうちいずれか一つに記載の車両用画像処理装置。

【請求項7】

前記標示画像は、前記仮想投影面の、地面と同じ高さの部位を示す第一の標示画像を含む、請求項６に記載の車両用画像処理装置。

【請求項8】

前記標示画像は、前記仮想投影面の、車体において前方、後方、または側方に張り出した張出部と同じ高さの部位を示す第二の標示画像を含む、請求項６または７に記載の車両用画像処理装置。

【請求項9】

前記可変設定部は、車両と周辺にある物体との距離に応じて該当する箇所が急峻に立ち上がった仮想投影面を設定する、請求項１〜８のうちいずれか一つに記載の車両用画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、車両用画像処理装置に関する。

【背景技術】

【0002】

従来、撮像画像を立体状に映した像データを生成し、当該像データを設定された視点から見た画像に変換して出力画像とする画像処理装置が、知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５３６９４６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この種の画像処理装置では、例えば、出力画像に含まれる物体の位置がより認識しやすくなることは、有意義である。

【課題を解決するための手段】

【0005】

実施形態の車両用画像処理装置は、例えば、車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された上記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、上記視点画像と上記仮想投影面における特定の位置を示す標示画像とを含む出力画像を生成する出力画像生成部と、上記仮想投影面を変更可能な可変設定部と、を備え、上記可変設定部は、車両の状況に応じて上記仮想投影面を変更可能であり、車両の速度が第一の速度である場合にあっては、車両遠方に該当する箇所が急峻に立ち上がる仮想投影面を設定し、車両の速度が第一の速度よりも低い第二の速度である場合にあっては、車両近傍から車両遠方にかけて緩やかに立ち上がる仮想投影面か、または車両近傍に該当する箇所が急峻に立ち上がる仮想投影面を設定する。よって、本実施形態によれば、例えば、出力画像において、仮想投影面における特定の位置を示す標示画像に基づいて、物体の位置や大きさが、より認識されやすくなる。また、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。また、出力画像において、車両の速度に応じた好都合な表示形態が得られやすい。

【0006】

実施形態の車両用画像処理装置は、例えば、車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された上記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、上記視点画像と上記仮想投影面における特定の位置を示す標示画像とを含む出力画像を生成する出力画像生成部と、車両の上下方向における第二の高さに位置した参照位置と、上記参照位置よりも上記車両に近い第一の投影面と、上記参照位置よりも車両から遠く上記第一の投影面よりも勾配が大きい第二の投影面と、を有した仮想投影面を、車両の状況に応じて変更可能な可変設定部と、車両の周囲の物体のうち上記第二の投影面に投影する投影物を設定する投影物設定部と、車両から上記投影物までの第二の距離を検出する距離検出部と、を備え、上記可変設定部は、上記第二の距離が大きいほど上記参照位置が車両から遠ざかるよう、上記仮想投影面を設定する。よって、本実施形態によれば、例えば、出力画像において、仮想投影面における特定の位置を示す標示画像に基づいて、物体の位置や大きさが、より認識されやすくなる。また、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。また、出力画像において、第二の投影面に投影される物体としての投影物の距離やサイズ等が、より認識されやすくなる。

【0007】

実施形態の車両用画像処理装置は、例えば、車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された上記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、上記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、上記視点画像および上記標示画像を含む出力画像を生成する出力画像生成部と、上記仮想投影面を変更可能な可変設定部と、を備え、上記可変設定部は、車両の状況に応じて上記仮想投影面を変更可能であり、車両の速度が第一の速度である場合にあっては、車両遠方に該当する箇所が急峻に立ち上がる仮想投影面を設定し、車両の速度が第一の速度よりも低い第二の速度である場合にあっては、車両近傍から車両遠方にかけて緩やかに立ち上がる仮想投影面か、または車両近傍に該当する箇所が急峻に立ち上がる仮想投影面を設定する。よって、本実施形態によれば、例えば、出力画像において、仮想投影面における特定の位置を示す標示画像に基づいて、物体の位置や大きさが、より認識されやすくなる。また、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。また、出力画像において、車両の速度に応じた好都合な表示形態が得られやすい。

【0008】

実施形態の車両用画像処理装置は、例えば、車両の周囲を取り囲む三次元の仮想投影面であって車両周辺の撮像画像が投影された上記仮想投影面を仮想視点から見た場合の視点画像を生成する、視点画像生成部と、上記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、上記視点画像および上記標示画像を含む出力画像を生成する出力画像生成部と、車両の上下方向における第二の高さに位置した参照位置と、上記参照位置よりも上記車両に近い第一の投影面と、上記参照位置よりも車両から遠く上記第一の投影面よりも勾配が大きい第二の投影面と、を有した仮想投影面を、車両の状況に応じて変更可能な可変設定部と、車両の周囲の物体のうち上記第二の投影面に投影する投影物を設定する投影物設定部と、車両から上記投影物までの第二の距離を検出する距離検出部と、を備え、上記可変設定部は、上記第二の距離が大きいほど上記参照位置が車両から遠ざかるよう、上記仮想投影面を設定する。よって、本実施形態によれば、例えば、出力画像において、仮想投影面における特定の位置を示す標示画像に基づいて、物体の位置や大きさが、より認識されやすくなる。また、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。また、出力画像において、第二の投影面に投影される物体としての投影物の距離やサイズ等が、より認識されやすくなる。

【0009】

また、上記車両用画像処理装置では、例えば、上記可変設定部は、上記参照位置が上記投影物よりも車両に近くなるように、上記仮想投影面を設定する、よって、例えば、出力画像において、投影物の画像が参照位置を跨いで第一の投影面と第二の投影面とに渡ってより歪みが大きい状態で表示されるのが、抑制される。

【0010】

また、上記車両用画像処理装置では、例えば、上記標示画像は、上記仮想投影面の、車両の上下方向における所定高さの部位を示す。よって、例えば、出力画像において、標示画像に基づいて、物体の上下方向の位置や物体の高さが、より認識されやすくなる。

【0011】

また、上記車両用画像処理装置では、例えば、上記標示画像は、上記仮想投影面の、地面と同じ高さの部位を示す第一の標示画像を含む。よって、例えば、出力画像において、第一の標示画像に基づいて、地面の位置や、物体の地面からの距離、物体の地面からの高さが、より認識されやすくなる。

【0012】

また、上記車両用画像処理装置では、例えば、上記標示画像は、上記仮想投影面の、車体において前方、後方、または側方に張り出した張出部と同じ高さの部位を示す第二の標示画像を含む。よって、例えば、出力画像において、第二の標示画像に基づいて、物体と張出部との上下方向の位置の差が、より認識されやすくなる。

【0013】

また、上記車両用画像処理装置では、例えば、上記可変設定部は、車両と周辺にある物体との距離に応じて該当する箇所が急峻に立ち上がった仮想投影面を設定する。よって、例えば、出力画像において、車両と周辺にある物体との距離に応じた好都合な表示形態が得られやすい。

【図面の簡単な説明】

【0014】

【図1】図１は、実施形態の画像表示システムの例示的な概略構成図である。

【図2】図２は、実施形態の画像表示システムによる出力画像の一例が示された図である。

【図3】図３は、実施形態の画像表示システムによる出力画像の別の一例が示された図である。

【図4】図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例が示された平面図である。

【図5】図５は、実施形態の画像表示システムに含まれる画像処理装置の例示的かつ模式的なブロック図である。

【図6】図６は、実施形態の画像表示システムにおける撮影画像の仮想投影面への投影を示す例示的かつ模式的な説明図である。

【図7】図７は、実施形態の画像表示システムにおける車両と仮想投影面とを示す模式的かつ例示的な側面図である。

【図8】図８は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。

【図9】図９は、実施形態の画像表示システムにおける車両と図７とは異なる仮想投影面とを示す模式的かつ例示的な側面図である。

【図10】図１０は、実施形態の画像表示システムにおける車両と図７，８とは異なる仮想投影面とを示す模式的かつ例示的な側面図である。

【図11】図１１は、実施形態の画像表示システムにおける車両、物体（投影物）、および仮想投影面を示す模式的かつ例示的な側面図である。

【図12】図１２は、実施形態の画像表示システムにおける車両、図１１よりも車両から離れた物体（投影物）、および仮想投影面を示す模式的かつ例示的な側面図である。

【図13】図１３は、実施形態の画像表示システムで用いられる仮想投影面の別の一例が示された模式的な斜視図である。

【図14】図１４は、実施形態の画像表示システムで用いられる仮想投影面のさらに別の一例が示された模式的な斜視図である。

【発明を実施するための形態】

【0015】

以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

【0016】

また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

【0017】

図１は、画像表示システムの例示的な概略構成図である。図１に示されるように、車両１に装備される画像表示システム１０は、ＥＣＵ１１（electronic control unit）を備えている。ＥＣＵ１１は、撮像部１２による撮影画像を画像処理して出力画像を生成する。ＥＣＵ１１は、出力画像が表示されるよう、表示部２４ａを制御する。ＥＣＵ１１は、画像処理装置あるいは表示制御部の一例である。

【0018】

＜出力画像の概要＞
ここで、図２，３を参照しながら、本実施形態の画像表示システム１０によって生成される出力画像Ｉｏの概要について説明する。なお、図２，３の出力画像Ｉｏ中には、車両１の周辺の物体の画像は含まれていない。また、図２，３中のグリッド線は、説明のために付加されており、実際の出力画像Ｉｏには含まれなくてもよい。

【0019】

図２は、画像表示システム１０による出力画像Ｉｏの一例が示された図である。図２に示されるように、表示部２４ａで表示される画像としての出力画像Ｉｏには、車体画像Ｉｖ、視点画像Ｉｂ、および標示画像Ｉｉが、含まれている。

【0020】

車体画像Ｉｖは、車体２、すなわち、車両１、自車を示す。車体画像Ｉｖは、図１に示されるような車体２に設けられた撮像部１２によって撮影された画像では無く、予め準備され、記憶され、出力画像Ｉｏ中の所定領域に挿入された画像である。車体画像Ｉｖには、例えば、視点画像Ｉｂと同じあるいは近い視点からの視点画像が用いられる。

【0021】

視点画像Ｉｂは、車体２に設けられた図１に示される撮像部１２によって得られた撮影画像に基づいて生成される。視点画像Ｉｂは、撮影画像が投影された仮想投影面を仮想視点から見た画像であって、例えば、仮想投影変換や視点変換された画像である。視点画像Ｉｂは、本実施形態では、一例として、車体２の周辺を斜め上方から見た俯瞰画像である。ＥＣＵ１１は、撮像部１２による撮影画像のデータに対する座標変換や投影変換等の画像処理により、視点画像Ｉｂのデータを得る。視点画像Ｉｂは、ほぼリアルタイムに更新される動画であってもよいし、静止画であってもよい。視点画像Ｉｂについては、後に詳しく述べる。

【0022】

標示画像Ｉｉは、視点画像Ｉｂ中の特定の位置を示す付加的あるいは補助的な画像である。図２の例では、標示画像Ｉｉは、楕円状の線状、例えば破線状の画像である。標示画像Ｉｉは、車体２の中心（重心）から所定距離（例えば２ｍ）離れた、地面と同じ高さの位置、すなわち、車両上下方向における高さ＝０の位置、を示している。視点画像Ｉｂの仮想投影面における特定の位置を示すため、標示画像Ｉｉの位置や形状は、視点画像Ｉｂの仮想投影面の形状や、視点の位置等に応じて定まる。標示画像Ｉｉについては、後に詳しく述べる。

【0023】

図３は、画像表示システム１０による出力画像Ｉｏの図２とは別の一例が示された図である。図３の例では、標示画像Ｉｉは、視点画像Ｉｂが表示される主表示領域Ａｍには含まれず、主表示領域Ａｍとは別の、主表示領域Ａｍよりも小さいサブウインドウＡｓ内に含まれている。サブウインドウＡｓ内では、視点画像Ｉｂの概要画像Ｉａｂと、標示画像Ｉｉの概要画像Ｉａｉとが重ねられている。この例では、サブウインドウＡｓにおいて、標示画像Ｉｉ、例えば、車両上下方向における高さ＝０の位置の、視点画像Ｉｂにおける配置や大きさが示される。サブウインドウＡｓは、副表示領域とも称される。サブウインドウＡｓには、標示画像Ｉｉに対応する位置の車体２の中心（重心）からの半径を示す数値Ｉｎも示されている。

【0024】

＜画像表示システム＞
次に、図２，３に示されるような出力画像Ｉｏを生成する画像表示システム１０について説明する。画像表示システム１０は、車両１の状況に応じた出力画像Ｉｏを表示することができる。画像表示システム１０は、出力画像Ｉｏを車両１の制御に利用するシステム、例えば、走行支援システムや、駐車支援システムに組み込まれてもよい。

【0025】

図１に示されるように、画像表示システム１０に含まれる装置や電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。装置や電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。

【0026】

撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。

【0027】

図４は、撮像部１２による撮像範囲の一例が示された平面図である。図４に例示されるように、車体２には、車外を撮像する撮像部１２が、車体２の前部、右側の側部、左側の側部、および後部のそれぞれに、設けられている。車体２の前部に設けられる撮像部１２は、例えば、フロントグリルに設けられる。車体２の左右の側部に設けられる撮像部１２は、例えば、ドアミラーに設けられる。車体２の後部に設けられる撮像部１２は、例えば、リヤハッチに設けられる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部の左右の角部にそれぞれ設けられてもよい。撮像部１２は、例えば、広角レンズまたは魚眼レンズである。撮像部１２は、車体２（車両１）の周辺の撮影画像のデータを取得する。なお、撮像部１２は、三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部１２のそれぞれの撮像範囲は異なってもよい。

【0028】

非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された障害物の有無や障害物までの距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部や、測距部とも称される。

【0029】

舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪の操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。

【0030】

ＧＰＳ１６（global positioning system）は、人工衛星から受信した電波に基づいて、現在位置を取得することができる。

【0031】

車輪速センサ１７は、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

【0032】

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。

【0033】

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。

【0034】

画像表示システム１０には、入力部１０ａが設けられてもよい。この場合、入力部１０ａは、例えば、押しボタン、スイッチ、つまみ等として構成される。

【0035】

モニタ装置２４は、表示部２４ａ、入力部２４ｂ、および音声出力装置２４ｃを有する。表示部２４ａは、例えば、ＬＣＤ（liquid crystal display）である。音声出力装置２４ｃは、例えば、スピーカである。入力部２４ｂは透明であり、表示部２４ａを覆っている。入力部２４ｂは、例えば、タッチパネル等である。ユーザは、入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、ユーザは、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で入力部２４ｂを触れたり押したり動かしたりして操作することで、入力を実行することができる。そして、これら表示部２４ａや、入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用される。

【0036】

ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、フラッシュメモリ１１ｄ、表示制御部１１ｅ、音声制御部１１ｆ等を有している。フラッシュメモリ１１ｄは、ＳＳＤ（solid state drive）であってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやフラッシュメモリ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、フラッシュメモリ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、主として、撮像部１２で得られた画像データを用いた一般的な画像処理や、表示部２４ａで表示される画像データの一般的な画像処理等を実行することができる。また、音声制御部１１ｆは、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、フラッシュメモリ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、フラッシュメモリ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

【0037】

図５は、ＥＣＵ１１の例示的かつ模式的なブロック図である。ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像処理装置として機能することができる。ＥＣＵ１１は、図１に示されるように、表示制御部１１ｅや音声制御部１１ｆの他、図５に示されるように、画像処理部３０および記憶部４０を含むことができる。画像処理部３０は、例えば、ＣＰＵ１１ａによって構成される。この場合、ＣＰＵ１１ａは、画像処理部３０の各部、すなわち、画像データ取得部３１、画像合成部３２、仮想投影部３３、視点画像生成部３４、標示画像生成部３５、出力画像生成部３６、データ取得部３７、物体検出部３８ａ、物体選択部３８ｂ、距離検出部３８ｃ、および可変設定部３９等として機能する。記憶部４０は、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、およびフラッシュメモリ１１ｄを含む。なお、画像処理部３０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。画像処理部３０の各部は、プログラムのモジュールに対応してもよいし、画像処理部３０の少なくとも一部はハードウエアとして構成されてもよい。

【0038】

画像データ取得部３１は、複数の撮像部１２で撮影された複数の撮影画像のデータを取得する。

【0039】

画像合成部３２は、画像データ取得部３１で取得された複数の撮影画像のデータ、すなわち、複数の撮像部１２で撮影された複数の撮影画像のデータを、それらの境界部分を合成することで繋ぎ、一つの撮影画像のデータを生成する。

【0040】

仮想投影部３３は、撮影画像のデータを、車両１の周囲を取り囲む仮想投影面に投影した、仮想投影画像のデータを生成する。図６は、画像表示システム１０における撮影画像Ｉｃの仮想投影面Ｓｐへの投影を示す例示的かつ模式的な説明図である。図６の例では、仮想投影面Ｓｐは、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、タイヤの接地面でもある。底面Ｓｐｇは、略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接した曲面である。図６に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の上下方向に沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。仮想投影部３３は、撮影画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮影画像Ｉｃを地面Ｇｒに投影すると、撮像部１２から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図６からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。底面Ｓｐｇは、第一の投影面の一例であり、側面Ｓｐｓは、第一の投影面よりも勾配が大きい第二の投影面の一例である。

【0041】

視点画像生成部３４は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐを、所定の仮想視点から見た、視点画像Ｉｂを生成する。図７は、画像表示システム１０における車両１と仮想投影面Ｓｐ（Ｓｐ０）とを示す模式的かつ例示的な側面図である。図７に示されるように、視点画像生成部３４は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図７には不図示）を、所定の視点Ｅｐから斜め下方を見た視点画像Ｉｂ（図７には不図示）に変換する。視点Ｅｐは、車両１の後方かつ上方に設定される。これにより、図２，３に示された出力画像Ｉｏに含まれているような視点画像Ｉｂが得られる。

【0042】

標示画像生成部３５は、仮想投影面Ｓｐにおける特定の位置を示す標示画像Ｉｉを生成する。図２，３に示された標示画像Ｉｉ（Ｉｉ０，Ｉａｉ）は、図６および図７に示される、仮想投影面Ｓｐの側面Ｓｐｓにおける地面と同じ高さの部位Ｐ０、すなわち、車両上下方向における高さ＝０の部位Ｐ０、を示している。仮想投影面Ｓｐの底面Ｓｐｇが地面Ｇｒと同じ高さの平面である場合、部位Ｐ０は、底面Ｓｐｇ（地面Ｇｒ）と側面Ｓｐｓとの境界である。本実施形態では、一例として、部位Ｐ０を境に、底面Ｓｐｇ側と側面Ｓｐｓ側とで、投影変換や視点変換による物体の像の変化率が変化している。よって、出力画像Ｉｏに含まれる標示画像Ｉｉ（Ｉｉ０）により、ユーザは、出力画像Ｉｏにおいて物体の像の長さや形状が変化する位置を、認識することができる。部位Ｐ０に対応する標示画像Ｉｉ（Ｉｉ０）は、第一の標示画像の一例である。部位Ｐ０の高さ（＝０）は、第一の高さの一例であるとともに、第二の高さの一例でもある。また、部位Ｐ０は、後述する仮想投影面Ｓｐの可変設定における参照位置の一例である。

【0043】

図８は、画像表示システム１０による出力画像Ｉｏのさらに別の一例が示された図である。図８中に示される標示画像Ｉｉ（Ｉｉ０）は、図２，３に示された標示画像Ｉｉ（Ｉｉ０）と同様に、部位Ｐ０に対応している。標示画像Ｉｉ（Ｉｉ０）とは別の標示画像Ｉｉ（Ｉｉ１）は、図７の部位Ｐ１、すなわち、車体２（車両１）において前方、後方、または側方に張り出した張出部２ａ（突出部）と、同じ高さの部位Ｐ１、を示している。張出部２ａは、車体２の前方、後方、または側方の端部を構成し、例えば、バンパーである。張出部２ａと同じ高さの部位Ｐ１を示す標示画像Ｉｉ（Ｉｉ１）により、ユーザは、例えば、視点画像Ｉｂ中の、張出部２ａと同じ高さにある物体を知ることができる。部位Ｐ１に対応する標示画像Ｉｉ（Ｉｉ１）は、第二の標示画像の一例である。また、二つの標示画像Ｉｉ０，Ｉｉ１が含まれる場合、ユーザは、視点画像Ｉｂ中で、標示画像Ｉｉ０，Ｉｉ１と重なるあるいは近い物体の高さを、より認識しやすくなる。なお、出力画像Ｉｏ中では、複数の標示画像Ｉｉの色や、太さ、線種等のスペックが、相異なってもよい。また、出力画像Ｉｏには、部位Ｐ１を示す標示画像Ｉｉ（Ｉｉ１）のみが含まれてもよい。

【0044】

データ取得部３７は、撮像画像以外のデータ、例えば、入力部２４ｂ，１０ａによって入力されたデータや、センサ等の検出結果のデータを取得する。

【0045】

物体検出部３８ａは、ソナーやレーダ等の非接触計測装置１３による検出結果や、撮像部１２（例えばステレオカメラ）による撮像結果等に基づいて、車体２（車両１）の周辺に存在する物体を検出する。物体検出部３８ａは、上記以外の検出装置による検出結果や、複数の検出装置の検出結果等に基づいて物体を検出してもよい。また、物体検出部３８ａは、所定の条件を満たす物体、例えば、大きさが所定の大きさよりも大きい物体や、高さが所定の高さよりも高い物体、幅が所定の幅よりも大きい物体、所定の範囲（距離範囲や高さ範囲等）内に位置する物体等を、検出することができる。

【0046】

物体選択部３８ｂは、物体検出部３８ａにより検出された物体のうち、予め設定された条件を満たす物体を選択することができる。物体選択部３８ｂは、所定の条件を満たす物体、例えば、大きさが所定の大きさよりも大きい物体や、高さが所定の高さよりも高い物体、幅が所定の幅よりも大きい物体、所定の範囲（距離範囲や高さ範囲等）内に位置する物体等を、選択することができる。この場合の条件は、物体検出部３８ａにおける条件とは異なる。物体選択部３８ｂは、予め設定された条件を満たす物体として、側面Ｓｐｓに投影する物体を選択することができる。この場合、物体は、投影物の一例であり、物体選択部３８ｂは、投影物設定部の一例である。

【0047】

距離検出部３８ｃは、物体検出部３８ａにより検出された物体や、物体選択部３８ｂにより選択された物体のそれぞれについて、車体２（車両１）の基準点からの距離（第一の距離、第二の距離）を取得する。距離検出部３８ｃは、ソナーやレーダ等の非接触計測装置１３による検出結果や、一つ以上の撮像部１２による撮像結果等に基づいて、当該距離を取得することができる。非接触計測装置１３によって、一つであると見なされる物体について複数の距離が検出された場合にあっては、距離検出部３８ｃは、複数の距離の代表値（例えば、所定範囲内における最小値や、平均値、中央値等）を、基準点から当該物体までの距離として算出することができる。

【0048】

可変設定部３９は、仮想投影面Ｓｐを変更することができる。図９は、画像表示システム１０における車両１と図７とは異なる仮想投影面Ｓｐ（Ｓｐ１）とを示す模式的かつ例示的な側面図である。図１０は、画像表示システム１０における車両１と図７，８とは異なる仮想投影面Ｓｐ（Ｓｐ２）とを示す模式的かつ例示的な側面図である。図７，９，１０を比較すれば明らかとなるように、これら仮想投影面Ｓｐ０，Ｓｐ１，Ｓｐ２においては、底面Ｓｐｇの広さ（大きさ）、すなわち車体２（車両１）から側面Ｓｐｓ（部位Ｐ０）までの距離が、異なっている。可変設定部３９は、記憶部４０に記憶された複数の仮想投影面Ｓｐのデータのうちいずれかを読み出したり、あるいは数式による演算を行うことにより、仮想投影面Ｓｐを変更することができる。

【0049】

地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへの仮想投影画像Ｉｐの投影は、当該側面Ｓｐｓに比較的近い物体に対してより効果的である。本実施形態では、車両１の状況やユーザの嗜好に応じて、可変設定部３９が仮想投影面Ｓｐを変更することにより、側面Ｓｐｓの位置を変更することができる。すなわち、可変設定部３９は、仮想投影面Ｓｐの側面Ｓｐｓによる効果が得られる位置を、変更できる。

【0050】

可変設定部３９による仮想投影面Ｓｐの変更は、入力部２４ｂ，１０ａのユーザの操作によって入力されたデータに基づいて行われる。これにより、ユーザの嗜好に応じて選択された仮想投影面Ｓｐが設定される。仮想投影部３３および視点画像生成部３４は、可変設定部３９によって設定された仮想投影面Ｓｐについて、所定の演算を実行する。

【0051】

可変設定部３９は、車両１の速度に応じて仮想投影面Ｓｐを変更することができる。可変設定部３９は、例えば、車輪速センサ１７の検出結果に基づいて、車両１の速度Ｖが第一の閾値Ｖｔｈ１以下である状態では（Ｖ≦Ｖｔｈ１）、図７に例示されるような底面Ｓｐｇの狭い（小さい）仮想投影面Ｓｐ０を設定する。可変設定部３９は、車両１の速度Ｖが第一の閾値Ｖｔｈ１より大きく第二の閾値Ｖｔｈ２（＞Ｖｔｈ１）以下である状態では（Ｖｔｈ１＜Ｖ≦Ｖｔｈ２）、底面Ｓｐｇが図７の仮想投影面Ｓｐ０よりも広い（大きい）図９に例示されるような仮想投影面Ｓｐ１を設定する。また、可変設定部３９は、車両１の速度Ｖが第二の閾値Ｖｔｈ２より大きい状態では（Ｖ＞Ｖｔｈ２）、底面Ｓｐｇが図９の仮想投影面Ｓｐ１よりも広い（大きい）図１０に例示されるような仮想投影面Ｓｐ２を設定する。あるいは、可変設定部３９は、例えば、車輪速センサ１７の検出結果に基づいて、車両１の速度Ｖと底面Ｓｐｇの広さとの関数（数式）や、速度Ｖと底面Ｓｐｇの広さとの相関関係を示すマップ（テーブル）により、速度Ｖが高いほど底面Ｓｐｇが広い仮想投影面Ｓｐを設定することができる。車両１の速度Ｖが高いほど、注意を要する周辺領域は車両１から遠く、車両１の速度Ｖが低いほど、注意を要する周辺領域は車両１に近い場合が多い。よって、このような設定によれば、注意を要する周辺領域について、仮想投影面Ｓｐの側面Ｓｐｓによる効果が得られる。よって、車両１と周辺の物体との距離に応じて、当該距離が長くなるほど底面Ｓｐｇが広くなるよう、仮想投影面Ｓｐを変更してもよい。仮想投影面Ｓｐ０は、車両１の近傍に該当する箇所が急峻に立ち上がる仮想投影面の一例である。仮想投影面Ｓｐ２は、車両１の遠方に該当する箇所が急峻に立ち上がる仮想投影面の一例である。

【0052】

可変設定部３９は、車両１の速度Ｖに限らず、種々の状況に応じたパラメータ、例えば、車両１の進行方向や、車両１の傾き、車両１の位置、車両１と周辺にある物体との距離、センサやデバイスによる検出結果や、信号、データ等に応じて、仮想投影面Ｓｐを変更することができる。当該センサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。

【0053】

また、可変設定部３９は、車両１の周辺の物体のうち仮想投影面Ｓｐに投影する投影物までの車両１からの距離に応じて、仮想投影面Ｓｐを変更することができる。図１１は、画像表示システム１０における車両１、投影物Ｂ、および仮想投影面Ｓｐ（Ｓｐ１）を示す模式的かつ例示的な側面図である。また、図１２は、画像表示システム１０における車両１、図１１よりも車両１から遠い投影物Ｂ、および仮想投影面Ｓｐ（Ｓｐ２）を示す模式的かつ例示的な側面図である。ここで、投影物Ｂは、予め設定された条件を満たしていたため、物体検出部３８ａにより検出された物体の中から物体選択部３８ｂによって選択された物体であって、少なくとも側面Ｓｐｓに投影される物体である。すなわち、予め設定された条件は、換言すれば、側面Ｓｐｓに投影する物体を特定する条件である。

【0054】

図１１，１２から明らかとなるように、可変設定部３９は、投影物Ｂの位置、すなわち車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２（第二の距離）に応じて、仮想投影面Ｓｐを変更している。図１２における車両１から投影物Ｂまでの距離Ｌｂ２は、図１１における車両１から投影物Ｂまでの距離Ｌｂ１よりも長い。この場合には、可変設定部３９は、図１２の仮想投影面Ｓｐ２における、車両１から部位Ｐ０（参照位置）までの距離Ｌ０２を、図１１の仮想投影面Ｓｐ１における、車両１から部位Ｐ０までの距離Ｌ０１よりも、長く設定している。すなわち、可変設定部３９は、車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２が大きいほど部位Ｐ０が車両１から遠ざかるよう、仮想投影面Ｓｐを設定している。このような設定により、出力画像Ｉｏにおいて、側面Ｓｐｓに投影される物体としての投影物Ｂの距離やサイズ等が、より認識されやすくなる。

【0055】

また、可変設定部３９は、部位Ｐ０が、投影物Ｂよりも車両１に近くなるように、仮想投影面Ｓｐを設定する。これにより、出力画像Ｉｏにおいて、投影物Ｂの画像が部位Ｐ０を跨いで側面Ｓｐｓと底面Ｓｐｇとに渡ってより歪みが大きい状態で表示されるのが、抑制される。なお、可変設定部３９は、部位Ｐ０を、車両１と投影物Ｂとの間であって、車両１よりも投影物Ｂに近い位置に設定する。このような設定によれば、部位Ｐ０が車両１に近い場合に比べて、出力画像Ｉｏにおいて、投影物Ｂの距離やサイズ等が、より認識されやすくなる。

【0056】

なお、可変設定部３９は、車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２が小さいほど、側面Ｓｐｓの勾配が小さくなるようにしてもよいし、部位Ｐ０における勾配の変化が小さくなるようにしてもよい。このような設定によれば、出力画像Ｉｏにおいて、部位Ｐ０において地面Ｇｒの画像の歪みが大きくなるのが、抑制される。

【0057】

なお、物体選択部３８ｂは、例えば、部位Ｐ０の高さ（第二の高さ）よりも高い第三の高さを設定し、物体の高さが第三の高さと同じかあるいはより高い当該物体を、投影物Ｂとして選択することができる。このような設定によっても、出力画像Ｉｏにおいて、投影物Ｂの画像が部位Ｐ０を跨いで側面Ｓｐｓと底面Ｓｐｇとに渡ってより歪みが大きい状態で表示されるのが、抑制される。

【0058】

図１３は、画像表示システム１０で用いられる仮想投影面Ｓｐの別の一例が示された模式的な斜視図である。図１３に例示される仮想投影面Ｓｐ３は、半球状である。このように、仮想投影面Ｓｐの底面Ｓｐｇは曲面であってもよいし、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとのはっきりとした境界は無かったりしてもよい。すなわち、本実施形態における仮想投影面Ｓｐは、底面Ｓｐｇと側面Ｓｐｓとに分割されているものには限定されない。仮想投影面Ｓｐ３は、車両１の近傍から車両１の遠方にかけて緩やかに立ち上がる仮想投影面の一例である。

【0059】

図１４は、画像表示システム１０で用いられる仮想投影面Ｓｐのさらに別の一例が示された模式的な斜視図である。図１４に例示される仮想投影面Ｓｐ４は、円錐内面状である。このように、仮想投影面Ｓｐの側面Ｓｐｓの勾配は一定であってもよいし、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとが滑らかに接続されなくてもよい。

【0060】

可変設定部３９によって仮想投影面Ｓｐが変更される画像表示システム１０では、出力画像Ｉｏ中に標示画像Ｉｉが含まれるのがより効果的である。例えば、ユーザは、出力画像Ｉｏにおいて仮想投影面Ｓｐの変化に伴う物体の画像の大きさや、位置、歪み等の変化や、物体の形状が歪みやすい底面Ｓｐｇと側面Ｓｐｓとの境界部分の位置等を、出力画像Ｉｏ中に含まれる標示画像Ｉｉによって、認識することができる。よって、ユーザが出力画像Ｉｏにおける画面や物体の変化に戸惑ったり、ユーザが出力画像Ｉｏ中で物体を誤認したり、といった、不都合な事象が抑制される。

【0061】

以上、説明したように、本実施形態では、例えば、標示画像生成部３５は、仮想投影面Ｓｐにおける特定の位置を示す標示画像Ｉｉを生成する。出力画像生成部３６は、視点画像Ｉｂと標示画像Ｉｉとを含む出力画像Ｉｏを生成する。よって、本実施形態によれば、例えば、出力画像Ｉｏにおいて、仮想投影面Ｓｐにおける特定の位置を示す標示画像Ｉｉに基づいて、物体の位置や大きさが、より認識されやすくなる。

【0062】

また、本実施形態では、例えば、標示画像Ｉｉは、仮想投影面Ｓｐの、車両１の上下方向における所定高さの部位を示す。よって、例えば、出力画像Ｉｏにおいて、標示画像Ｉｉに基づいて、物体の上下方向の位置や物体の高さが、より認識されやすくなる。

【0063】

また、本実施形態では、例えば、標示画像Ｉｉは、仮想投影面Ｓｐの、地面Ｇｒと同じ高さの部位を示す標示画像Ｉｉ０（第一の標示画像）を含む。よって、例えば、標示画像Ｉｉ０に基づいて、地面Ｇｒの位置や、物体の地面Ｇｒからの距離、物体の地面Ｇｒからの高さが、より認識されやすくなる。

【0064】

また、本実施形態では、例えば、標示画像Ｉｉは、仮想投影面Ｓｐの、車体２において前方、後方、または側方に張り出した張出部２ａと同じ高さの部位を示す標示画像Ｉｉ１（第二の標示画像）を含む。よって、例えば、出力画像Ｉｏにおいて、標示画像Ｉｉ１に基づいて、物体と張出部２ａとの上下方向の位置の差が、より認識されやすくなる。

【0065】

また、本実施形態では、例えば、可変設定部３９は、仮想投影面Ｓｐを変更可能である。よって、例えば、より好都合な仮想投影面Ｓｐに基づく出力画像Ｉｏが生成される。

【0066】

また、本実施形態では、例えば、可変設定部３９は、車両１の速度に応じて仮想投影面Ｓｐを変更可能である。よって、例えば、出力画像Ｉｏにおいて、車両１の速度に応じたより好都合な表示形態が得られやすい。

【0067】

また、本実施形態では、例えば、可変設定部３９は、車両１の速度が第一の速度である場合にあっては、車両１の遠方に該当する箇所が急峻に立ち上がる仮想投影面Ｓｐ２を設定し、車両１の速度が第一の速度よりも低い第二の速度である場合にあっては、車両１の近傍から車両１の遠方にかけて緩やかに立ち上がる仮想投影面Ｓｐ３か、または車両１の近傍に該当する箇所が急峻に立ち上がる仮想投影面Ｓｐ２を設定してもよい。よって、例えば、出力画像Ｉｏにおいて、車両１の速度に応じたより好都合な表示形態が得られやすい。

【0068】

また、本実施形態では、例えば、可変設定部３９は、車両１の速度が第一の速度の場合における底面Ｓｐｇを、車両１の速度が第一の速度よりも低い第二の速度の場合における底面Ｓｐｇよりも広く設定できる。よって、例えば、底面Ｓｐｇと側面Ｓｐｓとを有する仮想投影面Ｓｐが用いられる場合に、出力画像Ｉｏにおいて、車両１の速度に応じた好都合な表示形態が得られやすい。

【0069】

また、本実施形態では、例えば、可変設定部３９は、車両１と周辺にある物体との距離に応じて該当する箇所が急峻に立ち上がった仮想投影面Ｓｐを設定できる。よって、例えば、出力画像Ｉｏにおいて、車両１と周辺にある物体との距離に応じたより好都合な表示形態が得られやすい。

【0070】

また、本実施形態では、例えば、可変設定部３９は、車両１から投影物Ｂまでの距離Ｌｂ１，Ｌｂ２（第二の距離）が大きいほど部位Ｐ０（参照位置）が車両１から遠ざかるよう、仮想投影面Ｓｐを設定することができる。よって、例えば、出力画像Ｉｏにおいて、側面Ｓｐｓ（第二の投影面）に投影される物体としての投影物Ｂの距離やサイズ等が、より認識されやすくなる。

【0071】

また、本実施形態では、例えば、可変設定部３９は、部位Ｐ０が、投影物Ｂよりも車両１に近くなるように、仮想投影面Ｓｐを設定することができる。よって、例えば、出力画像Ｉｏにおいて、投影物Ｂの画像が部位Ｐ０を跨いで底面Ｓｐｇ（第一の投影面）と側面Ｓｐｓとに渡ってより歪みが大きい状態で表示されるのが、抑制される。

【0072】

以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。

【0073】

また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ナビゲーション装置等とは別の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。

【0074】

また、標示画像は、線状の画像には限定されず、例えば、標示画像は、視点画像を透過する透明な領域を示す画像であって、特定の位置が透明な領域の縁によって示されてもよい。また、仮想投影面としては、種々の形状のものが設定される。

【0075】

また、第一の投影面は曲面であってもよいし、第一の投影面と第二の投影面とが一連の曲面であってもよいし、参照位置は、地面から上方に離れていてもよい。参照位置は、仮想投影面が変化していることを示す参照としての意味を有すればよく、第一の投影面と第二の投影面との境界を明確にすることは必須ではない。ただし、参照位置は、第一の投影面と第二の投影面との境界位置であってもよい。参照位置は、例えば、撮像部の位置よりも下方に設定されうるし、車両の部位の高さである第一の高さよりも低い高さに設定されうる。これにより、出力画像における画像の歪みが抑制される。また、視点画像は、俯瞰画像には限定されず、例えば、側方から見た画像であってもよい。

【0076】

また、車両の基準点（中心）を通り車両上下方向に沿った断面における断面形状は、例えば、ベジェ曲線等であってもよい。ベジェ曲線とすることにより、仮想投影面の断面の形状をより容易に設定しやすくなる。すなわち、仮想投影面の設定の自由度が高まりやすい。また、仮想投影面の可変設定による効果は、出力画像に標示画像が含まれない場合においても得られる。

【0077】

また、本発明の車両用画像処理装置は、以下の［１］または［２］のような形態によっても実現可能である。
［１］
車両の周囲を取り囲む三次元の仮想投影面に車両周辺の撮影画像が投影された仮想投影画像の、仮想視点からの視点画像を生成する、視点画像生成部と、
前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
を備え、
前記仮想投影面は、地面に沿った底面と、底面から立ち上がった側面と、を有し、
前記標示画像は、前記仮想投影面の、前記底面と前記側面との境界を示す、車両用画像処理装置。
［２］
車両の周囲を取り囲む三次元の仮想投影面に車両周辺の撮影画像が投影された仮想投影画像の、仮想視点からの視点画像を生成する、視点画像生成部と、
前記仮想投影面における特定の位置を示す標示画像を生成する標示画像生成部と、
前記視点画像および前記標示画像を含む出力画像を生成する出力画像生成部と、
前記仮想投影面を変更可能な可変設定部と、
を備え、
前記可変設定部は、入力部で入力されたデータに基づいて、前記仮想投影面を変更可能である、車両用画像処理装置。

【符号の説明】

【0078】

１…車両、２…車体、２ａ…張出部、１０ａ，２４ｂ…入力部、１１…ＥＣＵ（画像処理装置）、３４…視点画像生成部、３５…標示画像生成部、３８ｂ…物体選択部（投影物設定部）、３８ｃ…距離検出部、３９…可変設定部、Ｉｃ…撮影画像、Ｉｐ…仮想投影画像、Ｉｂ…視点画像、Ｉｉ…標示画像、Ｉｉ０…標示画像（第一の標示画像）、Ｉｉ１…標示画像（第二の標示画像）、Ｉｏ…出力画像、Ｌｂ１，Ｌｂ２…距離（第一の距離、第二の距離）、Ｓｐ（Ｓｐ０〜Ｓｐ４）…仮想投影面、Ｓｐｇ…底面（第一の投影面）、Ｓｐｓ…側面（第二の投影面）、Ｐ０…部位（地面と同じ高さの部位、参照位置）、Ｐ１…部位（第一の高さの部位）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】