特開 2022-89282 周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022089282

(43)【公開日】2022-06-16

(54)【発明の名称】周辺監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220609BHJP

   B60R 1/00 20220101ALI20220609BHJP

【ＦＩ】

H04N7/18 J

B60R1/00 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020201562

(22)【出願日】2020-12-04

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】山本 欣司

(72)【発明者】

【氏名】渡邊 一矢

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FD03

5C054FE18

5C054HA30

(57)【要約】

【課題】車両の進行方向の左側または右側の状況の変化を容易に確認する。
【解決手段】本開示の一例としての周辺監視装置は、車両の周辺を撮像することで得られる撮像画像に基づいて、車両の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す周辺画像を表示部に表示する表示処理部と、車両の進行方向の左側または右側の状況の変化に応じて、仮想注視点と仮想視点との間の距離に対応した視点半径と、仮想視点から見た仮想注視領域の範囲に対応した視野角と、を変更する変更処理部と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

車両の周辺を撮像することで得られる撮像画像に基づいて、前記車両の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す周辺画像を表示部に表示する表示処理部と、
前記車両の進行方向の左側または右側の状況の変化に応じて、前記仮想注視点と前記仮想視点との間の距離に対応した視点半径と、前記仮想視点から見た前記仮想注視領域の範囲に対応した視野角と、を変更する変更処理部と、
を備える、周辺監視装置。

【請求項2】

前記変更処理部は、前記車両の進行方向の左側または右側の状況が、第１の状況から、前記車両に対する左右の距離感を前記周辺画像上で強調すべき度合が前記第１の状況よりも大きい第２の状況に変化した場合に、前記視点半径を前記第１の状況で使用される第１の視点半径よりも大きい第２の視点半径に変更し、前記視野角を前記第１の状況で使用される第１の視野角よりも小さい第２の視野角に変更する、
請求項１に記載の周辺監視装置。

【請求項3】

前記変更処理部は、前記第１の状況下で前記車両の進行方向の左側または右側に立体物が検出された場合に、前記車両の進行方向の左側または右側の状況が前記第１の状況から前記第２の状況に変化したと判定し、前記視点半径および前記視野角を変更する、
請求項２に記載の周辺監視装置。

【請求項4】

前記変更処理部は、前記第１の状況下で前記車両の移動が検出された場合に、前記車両の進行方向の左側または右側の状況が前記第１の状況から前記第２の状況に変化したと判定し、前記視点半径および前記視野角を変更する、
請求項２または３に記載の周辺監視装置。

【請求項5】

前記変更処理部は、前記第１の状況下で前記車両の舵角の所定以上の変化が検出された場合に、前記車両の進行方向の左側または右側の状況が前記第１の状況から前記第２の状況に変化したと判定し、前記視点半径および前記視野角を変更する、
請求項２～４のうちいずれか１項に記載の周辺監視装置。

【請求項6】

前記変更処理部は、前記車両が停止している場合、前記視点半径を前記第１の視点半径以下の第３の視点半径に設定し、前記視野角を前記第１の視野角以上の第３の視野角に設定する、
請求項２～５のうちいずれか１項に記載の周辺監視装置。

【請求項7】

前記表示処理部は、前記変更処理部による前記視点半径および前記視野角の変更に応じて、前記周辺画像をアニメーションで徐々に変化させる、
請求項１～６のうちいずれか１項に記載の周辺監視装置。

【請求項8】

前記変更処理部は、前記視点半径および前記視野角の変更後は、所定時間が経過するまで、前記視点半径および前記視野角を維持する、
請求項１～７のうちいずれか１項に記載の周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、周辺監視装置に関する。

【背景技術】

【0002】

従来、車両の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す周辺画像を用いて、車両の周辺の状況を監視する技術が知られている。このような周辺画像は、車両の周辺を撮像するために車両に設けられる撮像装置から取得される撮像画像に基づいて生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３３００３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術において、仮想注視点と仮想視点との間の距離に対応した視点半径と、仮想視点から見た仮想注視領域の範囲に対応した視野角と、が常に一定に設定されていると、車両の進行方向の左側または右側の状況の変化を監視しにくい場合がある。

【0005】

そこで、本開示の課題の一つは、車両の進行方向の左側または右側の状況の変化を容易に確認することが可能な周辺監視装置を提供することである。

【課題を解決するための手段】

【0006】

本開示の一例としての周辺監視装置は、車両の周辺を撮像することで得られる撮像画像に基づいて、車両の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す周辺画像を表示部に表示する表示処理部と、車両の進行方向の左側または右側の状況の変化に応じて、仮想注視点と仮想視点との間の距離に対応した視点半径と、仮想視点から見た仮想注視領域の範囲に対応した視野角と、を変更する変更処理部と、を備える。

【0007】

上述した周辺監視装置によれば、車両の進行方向の左側または右側の状況の変化に応じた視点半径および視野角の変更により、周辺画像上での車両に対する左右の距離感の調整を適切に実行することができる。したがって、車両の進行方向の左側または右側の状況の変化を容易に確認することができる。

【0008】

上述した周辺監視装置において、変更処理部は、車両の進行方向の左側または右側の状況が、第１の状況から、車両に対する左右の距離感を周辺画像上で強調すべき度合が第１の状況よりも大きい第２の状況に変化した場合に、視点半径を第１の状況で使用される第１の視点半径よりも大きい第２の視点半径に変更し、視野角を第１の状況で使用される第１の視野角よりも小さい第２の視野角に変更する。このような構成によれば、視点半径および視野角を状況に応じて適切に変更することができる。

【0009】

また、上述した周辺監視装置において、変更処理部は、第１の状況下で車両の進行方向の左側または右側に立体物が検出された場合に、車両の進行方向の左側または右側の状況が第１の状況から第２の状況に変化したと判定し、視点半径および視野角を変更する。このような構成によれば、車両の進行方向の左側または右側に立体物が存在するか否かに応じて、視点半径および視野角を変更すべきか否かを適切に判定することができる。

【0010】

また、上述した周辺監視装置において、変更処理部は、第１の状況下で車両の移動が検出された場合に、車両の進行方向の左側または右側の状況が第１の状況から第２の状況に変化したと判定し、視点半径および視野角を変更する。このような構成によれば、車両が移動しているか否かに応じて、視点半径および視野角を変更すべきか否かを適切に判定することができる。

【0011】

また、上述した周辺監視装置において、変更処理部は、第１の状況下で車両の舵角の所定以上の変化が検出された場合に、車両の進行方向の左側または右側の状況が第１の状況から第２の状況に変化したと判定し、視点半径および視野角を変更する。このような構成によれば、車両の舵角の所定以上変化したか否かに応じて、視点半径および視野角を変更すべきか否かを適切に判定することができる。

【0012】

また、上述した周辺監視装置において、変更処理部は、車両が停止している場合、視点半径を第１の視点半径以下の第３の視点半径に設定し、視野角を第１の視野角以上の第３の視野角に設定する。このような構成によれば、不要な場合に車両に対する左右の距離感を周辺画像上で強調されるのを抑制することができる。

【0013】

また、上述した周辺監視装置において、表示処理部は、変更処理部による視点半径および視野角の変更に応じて、周辺画像をアニメーションで徐々に変化させる。このような構成によれば、視点半径および視野角の変更に伴う周辺画像の変化を直感的に分かりやすく実行することができる。

【0014】

また、上述した周辺監視装置において、変更処理部は、視点半径および視野角の変更後は、所定時間が経過するまで、視点半径および視野角を維持する。このような構成によれば、視点半径および視野角の頻繁な変更に伴い周辺画像が頻繁に変化することで周辺監視が実行しにくくなるのを抑制することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。

【図2】図２は、実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。

【図3】図３は、実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。

【図4】図４は、実施形態にかかる周辺監視装置の機能を示した例示的かつ模式的なブロック図である。

【図5】図５は、実施形態にかかる周辺画像の一例を示した例示的かつ模式的な図である。

【図6】図６は、実施形態にかかる視点パラメータを説明するための例示的かつ模式的な図である。

【図7】図７は、実施形態にかかる周辺画像の他の一例を示した例示的かつ模式的な図である。

【図8】図８は、実施形態にかかる周辺監視装置により実行される一連の処理を示した例示的かつ模式的なフローチャートである。

【発明を実施するための形態】

【0016】

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0017】

まず、図１および図２を用いて、実施形態にかかる車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の車室２ａ内の構成を示した例示的かつ模式的な図であり、図２は、実施形態にかかる車両１を上方から見た外観を示した例示的かつ模式的な図である。

【0018】

図１に示されるように、実施形態にかかる車両１は、ユーザとしての運転者を含む乗員が乗車する車室２ａを有している。車室２ａ内には、ユーザが座席２ｂから操作可能な状態で、制動部（制動操作部）３０１ａや、加速部（加速操作部）３０２ａ、操舵部３０３ａ、変速部（変速操作部）３０４ａなどが設けられている。

【0019】

制動部３０１ａは、たとえば、運転者の足下に設けられたブレーキペダルであり、加速部３０２ａは、たとえば、運転者の足下に設けられたアクセルペダルである。また、操舵部３０３ａは、たとえば、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、変速部３０４ａは、たとえば、センターコンソールから突出したシフトレバーである。なお、操舵部３０３ａは、ハンドルであってもよい。

【0020】

車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、たとえば、車室２ａ内のダッシュボードの幅方向（左右方向）の中央部に設けられる。なお、表示部８は、たとえばＬＣＤ（液晶ディスプレイ）やＯＥＬＤ（有機エレクトロルミネセンスディスプレイ）などで構成されている。

【0021】

ここで、表示部８において画像が表示される領域としての表示画面には、操作入力部１０が設けられている。操作入力部１０は、たとえば、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネルとして構成されている。これにより、ユーザ（運転者）は、表示部８の表示画面に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いたタッチ（タップ）操作などを行うことで、各種の操作入力を実行することができる。

【0022】

なお、実施形態では、操作入力部１０が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的なインターフェースであってもよい。また、実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部９および他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。

【0023】

また、図１および図２に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを、総称して車輪と記載することがある。実施形態では、４つの車輪の一部または全部の横滑り角が、操舵部３０３ａの操作などに応じて変化（転舵）する。

【0024】

また、車両１には、周辺監視用の撮像装置としての複数（図１および図２に示される例では４つ）の車載カメラ１５ａ～１５ｄが搭載されている。車載カメラ１５ａは、車体２の後側の端部２ｅ（たとえば、リヤトランクのドア２ｈの下方）に設けられ、車両１の後方の領域を撮像する。また、車載カメラ１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の領域を撮像する。また、車載カメラ１５ｃは、車体２の前側の端部２ｃ（たとえば、フロントバンパ）に設けられ、車両１の前方の領域を撮像する。また、車載カメラ１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ１５ａ～１５ｄを、総称して車載カメラ１５と記載することがある。

【0025】

車載カメラ１５は、たとえば、ＣＣＤ（電荷結合素子）やＣＩＳ（ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ）などといった撮像素子を有したいわゆるデジタルカメラである。車載カメラ１５は、所定のフレームレートで車両１の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ１５により得られる画像データは、フレーム画像として動画像を構成することが可能である。

【0026】

次に、図３を用いて、実施形態にかかる車両１において各種の制御を実現するために設けられるシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。

【0027】

図３は、実施形態にかかる車両１のシステム構成を示した例示的かつ模式的なブロック図である。図３に示されるように、実施形態にかかる車両１は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、車載カメラ１５と、モニタ装置１１と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３１０と、車載ネットワーク３５０と、を有している。

【0028】

制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。

【0029】

制動部３０１ａは、たとえば上述したブレーキペダルなどといった、車両１を減速させるための装置である。

【0030】

制動制御部３０１ｂは、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。制動制御部３０１ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。

【0031】

制動部センサ３０１ｃは、制動部３０１ａの状態を検出するためのセンシングデバイスである。たとえば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。

【0032】

加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。

【0033】

加速部３０２ａは、たとえば上述したアクセルペダルなどといった、車両１を加速させるための装置である。

【0034】

加速制御部３０２ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部３０２ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。

【0035】

加速部センサ３０２ｃは、加速部３０２ａの状態を検出するためのセンシングデバイスである。たとえば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。

【0036】

操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。

【0037】

操舵部３０３ａは、たとえば上述したステアリングホイールやハンドルなどといった、車両１の転舵輪を転舵させる装置である。

【0038】

操舵制御部３０３ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部３０３ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。

【0039】

操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するためのセンシングデバイス、すなわち車両１の舵角を検出するための舵角センサである。たとえば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。

【0040】

変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。

【0041】

変速部３０４ａは、たとえば上述したシフトレバーなどといった、車両１の変速比を変更するための装置である。

【0042】

変速制御部３０４ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部３０４ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。

【0043】

変速部センサ３０４ｃは、変速部３０４ａの状態を検出するためのセンシングデバイスである。たとえば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。

【0044】

障害物センサ３０５は、車両１の周囲に存在しうる物体（障害物）に関する情報を検出するためのセンシングデバイスである。障害物センサ３０５は、たとえば、車両１の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、たとえば、音波を送信し、車両１の周囲に存在する物体により反射された音波を受信することで距離を取得するソナーや、光などの電波を送信し、車両１の周囲に存在する物体により反射された電波を受信することで距離を取得するレーザーレーダなどが用いられる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。

【0045】

走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、たとえば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサなどを含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。

【0046】

ＥＣＵ３１０は、車両１に設けられる各種のシステムを統括的に制御する装置である。詳細は後述するが、実施形態にかかるＥＣＵ３１０は、車載カメラ１５による撮像結果としての画像データに基づいて、車両１の周辺の状況を表す周辺画像を生成し、生成した周辺画像を表示部８に表示する機能を有している。周辺画像とは、たとえば、車両の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す三次元画像（具体例は後述する）である。なお、周辺画像は、当該三次元画像の他、車両１の周辺の状況を上から俯瞰で見た俯瞰画像、および、１つの車載カメラ１５から取得される１つの画像データのみに基づく画像である単カメラ画像なども含みうる。

【0047】

ＥＣＵ３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１０ｂと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１０ｃと、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したマイクロコンピュータとして構成されている。

【0048】

ＣＰＵ３１０ａは、ＥＣＵ３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。ここで言及している各種の制御プログラムには、上記のような周辺画像を表示部８に出力する周辺監視処理を実現するための周辺監視プログラムが含まれる。

【0049】

ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。

【0050】

ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。

【0051】

ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかるＥＣＵ３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよい。

【0052】

表示制御部３１０ｅは、ＥＣＵ３１０で実行されうる各種の処理のうち、主として、車載カメラ１５から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。

【0053】

音声制御部３１０ｆは、ＥＣＵ３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。

【0054】

車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、ＥＣＵ３１０と、を通信可能に接続する。

【0055】

ところで、上述した三次元画像のような周辺画像によって車両１の周辺の状況を監視する技術について従来から様々に検討されているが、このような技術においては、仮想注視点と仮想視点との間の距離に対応した視点半径と、仮想視点から見た仮想注視領域の範囲に対応した視野角と、が常に一定に設定されていると、車両１の進行方向の左側または右側の状況の変化を監視しにくい場合がある。

【0056】

そこで、実施形態は、次の図４に示されるような機能を有した周辺監視装置４００をＥＣＵ３１０内に実現することで、車両１の進行方向の左側または右側の状況の変化を容易に監視することを実現する。

【0057】

図４は、実施形態にかかる周辺監視装置４００の機能を示した例示的かつ模式的なブロック図である。

【0058】

図４に示される機能は、ソフトウェアとハードウェアとの協働によってＥＣＵ３１０内に実現される。すなわち、図４に示される機能は、ＥＣＵ３１０のＣＰＵ３１０ａがＲＯＭ３１０ｂまたはＳＳＤ３１０ｄに記憶された周辺監視プログラムを読み出して実行した結果として実現される。なお、実施形態では、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されてもよい。

【0059】

図４に示されるように、実施形態にかかる周辺監視装置４００は、撮像画像取得部４０１と、周辺画像生成部４０２と、表示処理部４０３と、検出処理部４０４と、変更処理部４０５と、を有している。

【0060】

撮像画像取得部４０１は、車載カメラ１５から撮像画像を取得する。そして、周辺画像生成部４０２は、撮像画像取得部４０１により取得された撮像画像に基づいて、たとえば次の図５に示される例のような周辺画像を生成し、表示処理部４０３は、当該周辺画像を表示部８に出力する。

【0061】

図５は、実施形態にかかる周辺画像の一例を示した例示的かつ模式的な図である。

【0062】

図５に示される例において、画像ＩＭ５００は、周辺画像としての上述した三次元画像の一例である。この画像ＩＭ５００には、車両１の周辺の状況が車両１を表す車両画像Ｖ０とともに所定の視点および視野で三次元的に表示されている。画像ＩＭ５００は、お椀型または円筒型のモデルに撮像画像を投影することで得られる仮想空間内に各種の視点パラメータを設定することで生成することができる。

【0063】

実施形態にかかる視点パラメータは、次の図６に示されるように、仮想視点および仮想注視点の仮想空間内における座標、仮想視点と仮想注視点との間の距離に対応した視点半径、および仮想視点から見た仮想駐車領域の範囲に対応した視野角などが含まれる。

【0064】

図６は、実施形態にかかる視点パラメータを説明するための例示的かつ模式的な図である。

【0065】

図６に示される例において、点Ｐ０および点Ｐ１は、それぞれ、所定の座標系が設定された仮想空間内における仮想視点および仮想注視点に対応する。図６には、一例として、車両画像Ｖ０の右方から左方に向かって水平方向に延びるＸ軸と、車両画像Ｖ０の下方から上方に向かって垂直方向に延びるＹ軸と、車両画像Ｖ０の後方から前方に向かって水平方向に延びるＺ軸と、を有するＸＹＺ座標系が設定された仮想空間が例示されている。

【0066】

実施形態では、たとえば、点Ｐ０および点Ｐ１の間の距離Ｄとしての視点半径と、点Ｐ１を基準とした水平方向に対する点Ｐ０の角度を示す水平角度と、点Ｐ１を基準とした垂直方向に対する点Ｐ０の角度を示す垂直角度と、が視点パラメータとして設定され、その結果、仮想空間内における点Ｐ０および点Ｐ１の座標が設定される。なお、実施形態では、仮想空間内における点Ｐ０および点Ｐ１の座標が視点パラメータとして設定されることで、視点半径、水平角度、および垂直角度が設定されてもよい。

【0067】

また、図６に示される例において、角度θは、仮想視点からの視野角に対応する。実施形態では、角度θが視点パラメータとして設定されると、仮想視点である点Ｐ０から見た仮想注視点である点Ｐ１を含む仮想注視領域Ｒの範囲が、周辺画像に映すべき範囲として定まる。

【0068】

ここで、前述した通り、視点半径および視野角が常に一定に設定されていると、車両１の進行方向の左側または右側の状況の変化を監視しにくい場合がある。たとえば、車両１が他の車両のような立体物とすれ違う状況においては、当該立体物が存在しない場合よりも、車両１に対する左右の距離感を周辺画像上で強調するように、視点半径および視野角を適宜変更することが望まれる。

【0069】

そこで、図４に戻り、検出処理部４０４は、車両１に搭載された各種のセンサ（図３参照）の出力に基づいて、車両１の進行方向の左側または右側の状況を検出する。そして、変更処理部４０５は、検出処理部４０４による検出の結果、つまり車両１の進行方向の左側または右側の状況の変化に応じて、表示処理部４０３により表示部８に出力されている周辺画像の視点半径および視野角を動的に変更する。

【0070】

より具体的に、変更処理部４０５は、検出処理部４０４による検出の結果に応じて、車両１に対する左右の距離感を周辺画像上で強調すべき度合が現状よりも高まったか否かを判定する。そして、変更処理部４０５は、車両１に対する左右の距離感を周辺画像上で強調すべき度合が現状よりも高まったと判定した場合、視点半径を現状の視点半径よりも大きくなるように変更し、視野角を現状の視野角よりも小さくなるように変更する。以下、説明の便宜上、視点半径および視野角の変更前の状況を第１の状況と表現し、視点半径および視野角の変更後の状況を第２の状況と表現することがある。

【0071】

たとえば、変更処理部４０５は、第１の状況下で車両１の進行方向の左側または右側に立体物が検出された場合に、車両１の進行方向の左側または右側の状況が第１の状況から第２の状況に変化したと判定しうる。この場合、変更処理部４０５は、視点半径を第１の状況で使用される第１の視点半径よりも大きい第２の視点半径に変更し、視野角を第１の状況で使用される第１の視野角よりも小さい第２の視野角に変更しうる。

【0072】

また、変更処理部４０５は、第１の状況下で車両１の移動が検出された場合にも、車両１の進行方向の左側または右側の状況が第１の状況から第２の状況に変化したと判定し、視点半径および視野角の上記のような変更を実行しうる。さらに、変更処理部４０５は、第１の状況下で車両１の舵角の所定以上の変化が検出された場合にも、車両１の進行方向の左側または右側の状況が第１の状況から第２の状況に変化したと判定し、視点半径および視野角の上記のような変更を実行しうる。

【0073】

上記を踏まえると、車両１の進行方向の左側および右側のいずれにも立体物が存在しない図５に示されるような状況が、車両１の進行方向の左側または右側に立体物が存在する状況に変化した場合、表示処理部４０３により出力される周辺画像は、たとえば次の図７に示される例のように変化する。

【0074】

図７は、実施形態にかかる周辺画像の他の一例を示した例示的かつ模式的な図である。

【0075】

図７に示される画像ＩＭ７００は、変更処理部４０５による視点半径および視野角の上記のような変更に応じて図５に示される画像ＩＭ５００から切り替わって表示部８に出力される周辺画像（三次元画像）の一例である。この画像ＩＭ７００には、車両１の周辺の状況が、車両１を表す車両画像Ｖ０および車両１の進行方向の右側に存在する立体物としての他の車両を表す車両画像Ｖ１とともに、図５に示される例よりも遠い視点から、図５に示される例よりも狭い視野で三次元的に表示されている。これにより、図７に示される画像ＩＭ７００は、図５に示される例よりも、車両１と他の車両とのすれ違いの際に着目すべき車両１に対する左右の距離感が分かりやすくなっている。

【0076】

このようにして、実施形態によれば、状況に応じて、車両１に対する左右の距離感が分かりやすい周辺画像を提供することができる。

【0077】

ところで、上記の説明では、車両１に対する左右の距離感を分かりやすくするために視点半径を大きくしかつ視野を狭くする状況が例示されている。しかしながら、状況によっては、視点半径を小さくしかつ視野を大きくした方が適切な場合も存在しうる。たとえば、車両１が停止している状態、特に車両１が始動する前の状態においては、より近い視点からより広い範囲を監視することが適切な場合もある。

【0078】

そこで、実施形態において、変更処理部４０５は、車両が停止している場合、視点半径を上記の第１の状況で使用される第１の視点半径以下の第３の視点半径に設定し、視野角を上記の第１の状況で使用される第１の視野角以上の第３の視野角に設定しうる。

【0079】

また、実施形態では、視点半径および視野角の変更が頻繁に実行されると、それに伴う周辺画像の変化も頻繁に実行されることになる。周辺画像が頻繁に変化すると、周辺画像を用いた周辺監視を実行しにくい。そこで、実施形態において、変更処理部４０５は、視点半径および視野角の変更後は、所定時間が経過するまで、視点半径および視野角を維持しうる。

【0080】

また、実施形態では、視点半径および視野角の変更が実行される場合、周辺画像が一度に大きく変化する構成よりも徐々に変化する構成の方が、直感的に分かりやすい。そこで、実施形態において、表示処理部４０３は、変更処理部４０５による視点半径および視野角の変更に応じて、周辺画像をアニメーションで徐々に変化させうる。

【0081】

なお、実施形態では、視点半径および視野角の変更にあたり、検出された立体物までの間隔の大きさなどが考慮されてもよい。すなわち、実施形態において、変更処理部４０５は、検出された立体物までの距離の大きさに応じて、視点半径および視野角の変更の度合を異ならせてもよい。

【0082】

以上の構成に基づき、実施形態にかかる周辺監視装置４００は、次の図８に示されるような一連の処理を実行する。

【0083】

図８は、実施形態にかかる周辺監視装置４００により実行される一連の処理を示した例示的かつ模式的なフローチャートである。この図８に示される一連の処理は、車両１の周辺監視が要求される状況下において繰り返し実行される。

【0084】

図８に示されるように、実施形態では、まず、Ｓ８０１において、周辺監視装置４００の撮像画像取得部４０１は、車両１の周辺の状況が撮像された撮像画像を車載カメラ１５から取得する。

【0085】

そして、Ｓ８０２において、周辺監視装置４００の周辺画像生成部４０２は、Ｓ４０１で取得された撮像画像に基づいて、車両１の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す周辺画像（三次元画像）を生成する。

【0086】

そして、Ｓ８０３において、周辺監視装置４００の検出処理部４０４は、車両１に搭載された各種のセンサ（図３参照）の出力に基づいて、車両１の進行方向の左側または右側の状況を検出する。たとえば、検出処理部４０４は、車両１の進行方向の左側または右側に立体物が存在するか否か、車両１が移動しているか否か、および車両１の舵角が所定以上変化したか否か、などを検出する。

【0087】

そして、Ｓ８０４において、周辺監視装置４００の変更処理部４０５は、Ｓ８０３での検出の結果に基づいて、車両１の進行方向の左側または右側の状況が、車両１に対する左右の距離感を周辺画像上で強調すべき状況に変化したか否かを判定する。

【0088】

Ｓ８０４において、車両１の進行方向の左側または右側の状況が、車両１に対する左右の距離感を周辺画像上で強調すべき状況に変化していないと判定された場合、周辺画像の視点半径および視野角の変更は不要である。したがって、この場合、処理が終了する。

【0089】

一方、Ｓ８０４において、車両１の進行方向の左側または右側の状況が、車両１に対する左右の距離感を周辺画像上で強調すべき状況に変化したと判定された場合、周辺画像の視点半径および視野角が必要な場合がある。したがって、この場合、Ｓ８０５に処理が進み、変更処理部４０５は、周辺画像の視点半径および視野角の変更に先立って、視点半径および視野角の前回の変更から所定時間が経過したか否かを判定する。

【0090】

Ｓ８０５において、所定時間が経過したと判定された場合、視点半径および視野角の変更を実行すべきである。したがって、この場合、Ｓ８０６に処理が進み、変更処理部４０５は、視点半径を現在使用している視点半径よりも大きく変更するとともに、視野角を現在使用している視野角よりも小さく変更する。そして、処理が終了する。

【0091】

一方、Ｓ８０５において、所定時間が経過していないと判定された場合、Ｓ８０４の判定が再度実行される。

【0092】

以上説明したように、実施形態にかかる周辺監視装置４００は、表示処理部４０３と、変更処理部４０５と、を備えている。表示処理部４０３は、車両１の周辺を撮像することで得られる撮像画像に基づいて、車両１の周辺の状況が反映された仮想空間内の仮想視点から見た仮想注視点を含む仮想注視領域を表す周辺画像を表示部８に表示する。変更処理部４０５は、車両１の進行方向の左側または右側の状況の変化に応じて、仮想注視点と仮想視点との間の距離に対応した視点半径と、仮想視点から見た仮想注視領域の範囲に対応した視野角と、を変更する。

【0093】

上記のような構成によれば、車両１の進行方向の左側または右側の状況の変化に応じた視点半径および視野角の変更により、周辺画像上での車両１に対する左右の距離感の調整を適切に実行することができる。したがって、車両１の進行方向の左側または右側の状況の変化を容易に確認することができる。

【0094】

なお、実施形態にかかるＥＣＵ３１０において実行される周辺監視プログラムは、必ずしもＲＯＭ３１０ｂまたはＳＳＤ３１０ｄに予め記憶されている必要はない。たとえば、実施形態にかかる周辺監視プログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Digital Versatile Disk）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0095】

また、実施形態にかかる周辺監視プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる周辺監視プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

【0096】

以上、本開示の実施形態を説明したが、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0097】

１ 車両
８ 表示部
４００ 周辺監視装置
４０３ 表示処理部
４０５ 変更処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】