特開 2022-9331 周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022009331

(43)【公開日】2022-01-14

(54)【発明の名称】周辺監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220106BHJP

   B60R 1/20 20220101ALI20220106BHJP

   B60R 1/28 20220101ALI20220106BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

B60R1/28 200

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021172116

(22)【出願日】2021-10-21

(62)【分割の表示】P 2017094692の分割

【原出願日】2017-05-11

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】丸岡 哲也

(72)【発明者】

【氏名】渡邊 一矢

(72)【発明者】

【氏名】中所 孝之

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054FC14

5C054FD03

5C054FE05

5C054FE12

5C054FE14

5C054FE18

5C054FE25

5C054FF03

5C054GB01

5C054HA30

(57)【要約】

【課題】仮想視点から車室を介して車両の外部の注視点を見た三次元の画像を表示した場合、当該三次元の画像が、車両の周囲のうちどの位置の三次元の画像であるかを容易に特定することができる周辺監視装置を提供する。
【解決手段】実施形態の周辺監視装置は、一例として、撮像部によって車両の周囲を撮像して得られる画像に基づいて、仮想視点から車両の車室を介して当該車両の外部の注視点を見た三次元の画像であり、撮像部の撮像範囲外の領域に対応する死角画像を含み、かつ当該死角画像において、車両の部品が存在する位置に対して、当該部品の二次元の画像を重畳した第１画像を生成する生成部と、生成部により生成した第１画像を表示する表示部と、を備える。
【選択図】図７

【特許請求の範囲】

【請求項1】

撮像部によって車両の周囲を撮像して得られる画像に基づいて、仮想視点から前記車両の車室を介して当該車両の外部の注視点を見た三次元の画像であり、前記撮像部の撮像範囲外の領域に対応する死角画像を含み、かつ当該死角画像において、前記車両の部品が存在する位置に対して、当該部品の二次元の画像を重畳した第１画像を生成する生成部と、
前記生成部により生成した前記第１画像を表示する表示部と、
を備える周辺監視装置。

【請求項2】

前記生成部は、前記車両のフレームの三次元の輪郭を含む前記第１画像を生成する請求項１に記載の周辺監視装置。

【請求項3】

前記生成部は、前記注視点をシームレスに移動させ、前記注視点の移動に応じて前記第１画像を生成し直し、前記注視点がシームレスに移動されている場合、前記車両のタイヤの三次元の第２画像を前記第１画像に含め、前記注視点の移動の停止が指示された場合、前記第２画像の表示を終了する請求項１または２に記載の周辺監視装置。

【請求項4】

前記生成部は、前記注視点の移動の停止が指示された場合、前記注視点の移動の停止が指示されてから所定時間かけて、前記第２画像の透過度を上げた後、当該第２画像の表示を終了する請求項３に記載の周辺監視装置。

【請求項5】

前記生成部は、前記部品の二次元の画像のうち前記車両のタイヤの二次元の画像に対して、前記車両の前方を表すトレッドパターンを重畳する請求項３または４に記載の周辺監視装置。

【請求項6】

前記第１画像は、前記死角画像において、前記車両の車室内の部品が存在する位置に対して、当該部品の二次元の画像を重畳した画像である請求項１から５のいずれか一に記載の周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、周辺監視装置に関する。

【背景技術】

【0002】

車両の車室内から当該車両の周辺を見た三次元の画像を仮想視点画像として表示する周辺監視装置がある。その際、周辺監視装置は、仮想視点画像において、車両の底に相当する画像を不透明な画像（例えば、黒色の画像）とする。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－８８９４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、周辺監視装置においては、仮想視点画像において、車両の車室内の部品を非表示とするため、車両の運転手が、仮想視点画像が、車両の周囲のうちどの位置を示す画像なのかを特定し難い。

【課題を解決するための手段】

【0005】

実施形態の周辺監視装置は、一例として、撮像部によって車両の周囲を撮像して得られる画像に基づいて、仮想視点から車両の車室を介して当該車両の外部の注視点を見た三次元の画像であり、撮像部の撮像範囲外の領域に対応する死角画像を含み、かつ当該死角画像において、車両の部品が存在する位置に対して、当該部品の二次元の画像を重畳した第１画像を生成する生成部と、生成部により生成した第１画像を表示する表示部と、を備える。よって、一例として、仮想視点から車室を介して車両の外部の注視点を見た第１画像を表示した場合、車両の周囲のうちどの位置の第１画像であるかを容易に特定することができる。

【0006】

また、周辺監視装置は、一例として、生成部は、車両のフレームの三次元の輪郭を含む第１画像を生成する。よって、一例として、車両の周囲のうちどの位置の第１画像であるかをより容易に特定できる。

【0007】

また、周辺監視装置は、一例として、生成部は、注視点をシームレスに移動させ、注視点の移動に応じて第１画像を生成し直し、注視点がシームレスに移動されている場合、車両のタイヤの三次元の第２画像を第１画像に含め、注視点の移動の停止が指示された場合、第２画像の表示を終了する。よって、一例として、注視点の移動を停止した場合に、第１画像のうち第２画像によって死角になる領域を減らすことができる。

【0008】

また、周辺監視装置は、一例として、生成部は、注視点の移動の停止が指示された場合、注視点の移動の停止が指示されてから所定時間かけて、第２画像の透過度を上げた後、当該第２画像の表示を終了する。よって、一例として、注視点の移動の停止と同時に、第２画像の表示が終了して、車両の周囲のうちどの位置の周辺画像であるかを特定し難くなることを防止できる。

【0009】

また、周辺監視装置は、一例として、生成部は、部品の二次元の画像のうち車両のタイヤの二次元の画像に対して、車両の前方を表すトレッドパターンを重畳する。よって、一例として、車両の周囲のうちどの位置の第１画像であるかをより容易に特定できる。

【0010】

また、周辺監視装置は、一例として、第１画像が、死角画像において、車両の車室内の部品に対応する位置に対して、当該部品の二次元の画像を重畳した画像である。よって、一例として、車両の周囲のうちどの位置の第１画像であるかを容易に特定することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、第１の実施形態にかかる車両の一例の平面図である。

【図3】図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。

【図4】図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。

【図5】図５は、第１の実施形態にかかる車両による周辺画像の表示処理の流れの一例を示すフローチャートである。

【図6】図６は、第１の実施形態にかかる車両による部品画像の生成処理の一例を説明するための図である。

【図7】図７は、第１の実施形態にかかる車両において表示される周辺画像の一例を示す図である。

【図8】図８は、第２の実施形態にかかる車両において表示される周辺画像の一例を示す図である。

【図9】図９は、第２の実施形態にかかる車両において表示される周辺画像の一例を示す図である。

【図10】図１０は、第３の実施形態にかかる車両において表示される周辺画像の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

【0013】

本実施形態にかかる周辺監視装置（周辺監視システム）を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

【0014】

（第１の実施形態）
図１は、第１の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

【0015】

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

【0016】

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

【0017】

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

【0018】

図２は、第１の実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

【0019】

車両１は、複数の撮像部１５として、例えば、４つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

【0020】

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

【0021】

図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４が、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

【0022】

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

【0023】

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

【0024】

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

【0025】

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

【0026】

ＥＣＵ１４は、撮像部１５により車両１の周囲を撮像して得られる撮像画像に基づいて、仮想視点から、車両１の車室２ａを介して当該車両１の外部の注視点を見た三次元の画像を生成し、当該生成した画像を表示装置８に表示させる。ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

【0027】

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像に対する画像処理、車両１の周囲に存在する障害物までの距離の算出等を実行する。

【0028】

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する撮像画像に対する画像処理、ＣＰＵ１４ａから取得した画像を表示装置８に表示させる画像への変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

【0029】

図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、周辺画像生成部４０１を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ＥＣＵ１４は、周辺画像生成部４０１の機能を実現する。周辺画像生成部４０１の一部または全部を回路等のハードウェアによって構成しても良い。

【0030】

周辺画像生成部４０１は、撮像部１５によって車両１の周囲を撮像して得られる撮像画像に基づいて、仮想視点から車室２ａを介して車両１の外部の注視点を見た三次元の画像である周辺画像を生成する。その際、周辺画像生成部４０１は、周辺画像において、撮像部１５の撮像範囲外の領域（例えば、車両１の底に対応する領域）に対応する死角画像を不透明な黒画像（以下、黒領域と言う）で表す。言い換えると、周辺画像生成部４０１は、撮像部１５の撮像範囲外である死角画像を黒領域で表した周辺画像を生成する。本実施形態では、周辺画像生成部４０１は、死角画像を不透明な黒領域で表しているが、これに限定するものではなく、例えば、予め設定された色（例えば、白）の画像で表しても良い。

【0031】

また、周辺画像生成部４０１は、周辺画像が含む黒領域において、車両１の部品（例えば、車両１の車室２ａ内の部品、車両１のタイヤ、車両１のフレーム）が存在する位置に対して、当該部品の二次元の画像（以下、部品画像と言う）を重畳する。周辺画像生成部４０１は、表示制御部１４ｄを介して、部品画像が重畳された周辺画像を表示装置８に表示させる。

【0032】

これにより、仮想視点から車室２ａを介して車両１の外部の注視点を見た周辺画像を表示した場合、車両１の周囲のうちどの位置の周辺画像であるかを容易に特定することができる。また、仮想視点から車室２ａを介して車両１の外部の注視点を見た周辺画像を表示した場合に、車両１の部品画像によって、車両１の周囲のうち死角となる領域を減らすことができる。また、仮想視点から車室２ａを介して車両１の外部の注視点を見た三次元の画像に含まれる黒領域に、部品画像を重畳することで、当該黒領域を有効に活用することができる。

【0033】

次に、図５を用いて、本実施形態にかかる車両１による周辺画像の表示処理の流れの一例について説明する。図５は、第１の実施形態にかかる車両による周辺画像の表示処理の流れの一例を示すフローチャートである。

【0034】

周辺画像生成部４０１は、変速操作部７が操作されて車両１のシフトがパーキングレンジに入ったか否かを判断する（ステップＳ５０１）。車両１のシフトがパーキングレンジに入ったと判断した場合（ステップＳ５０１：Ｙｅｓ）、周辺画像生成部４０１は、周辺画像の表示を指示するためのカメラボタンが押下されたか否かを判断する（ステップＳ５０２）。本実施形態では、周辺画像生成部４０１は、車両１のシフトがパーキングレンジに入ったと判断した場合、撮像部１５により車両１の周囲を撮像して得られる撮像画像に基づいて、車両１の上方から当該車両１の周囲を見た俯瞰画像を生成する。そして、周辺画像生成部４０１は、生成した俯瞰画像と、周辺画像の表示を指示するためのカメラボタンと、を含む画面を、表示装置８に表示する。その後、周辺画像生成部４０１は、操作入力部１０によって、カメラボタンの押下が検出されたか否かを判断する。

【0035】

カメラボタンが押下されたと判断した場合（ステップＳ５０２：Ｙｅｓ）、周辺画像生成部４０１は、撮像部１５により車両１の周囲を撮像して得られる撮像画像に基づいて、周辺画像を生成する（ステップＳ５０３）。本実施形態では、周辺画像生成部４０１は、車両１の周囲の形状を表す三次元の仮想投影面を生成し、当該仮想投影面に対して、撮像部１５により車両１の周囲を撮像して得られる撮像画像を投影することによって、車両１の周囲の三次元の画像を生成する。

【0036】

具体的には、周辺画像生成部４０１は、第１面と第２面とを含む仮想投影面を生成する。ここで、第１面は、車両１のタイヤの接地面において、車両１の位置から、予め設定された距離の範囲内の面である。例えば、第１面は、楕円形の平坦な面である。また、第２面は、第１面に連続する面であり、第１面を基準として、車両１の位置から離れるに従って、接地面から徐々に立ち上がる面である。例えば、第２面は、第１面に接する位置（第１面の端）から、楕円状または放物線状に立ち上がる面である。すなわち、周辺画像生成部４０１は、車両１を取り囲むお椀型または円筒状の仮想投影面を生成する。

【0037】

次いで、周辺画像生成部４０１は、当該生成した三次元の画像において、仮想視点（例えば、座席２ｂに着座した運転手の視点）から車室２ａを介して車両１の外部の注視点を見た場合に人の視野に入る画像を、周辺画像として生成する。その際、周辺画像生成部４０１は、周辺画像において、車両１の底に対応する領域を黒領域で表す。

【0038】

また、周辺画像生成部４０１は、車両１の外部に存在する注視点をシームレスに移動させる。本実施形態では、周辺画像生成部４０１は、車両１の外部に存在する注視点を、予め設定された速度で、水平方向に向かって、シームレスに３６０°回転させる。そして、周辺画像生成部４０１は、注視点の移動に応じて周辺画像を生成し直す。

【0039】

次に、周辺画像生成部４０１は、生成した周辺画像が含む黒領域において、車両１の部品（例えば、車室２ａ内のダッシュボード２４、ハンドル、シート等の部品）が存在する位置に対して、当該部品の二次元の画像である部品画像を重畳する（ステップＳ５０４）。

【0040】

図６は、第１の実施形態にかかる車両による部品画像の生成処理の一例を説明するための図である。本実施形態では、周辺画像生成部４０１は、車両１の部品の三次元の画像でありかつ仮想視点から注視点を見た場合における三次元部品画像を生成する。次いで、周辺画像生成部４０１は、生成した三次元部品画像を、二次元の平面に投影した画像を、部品画像６０１として生成する。その際、周辺画像生成部４０１は、車両１のタイヤの三次元の画像でありかつ仮想視点から注視点を見た三次元タイヤ画像を、二次元の平面に投影したタイヤ画像６０２を生成し、当該生成したタイヤ画像６０２含む部品画像６０１を生成しても良い。本実施形態では、周辺画像生成部４０１は、三次元部品画像を用いて、二次元の部品画像を生成しているが、これに限定するものではない。例えば、周辺画像生成部４０１は、ＥＣＵ１４が有する記憶媒体または外部の記憶装置に、二次元の部品画像を予め記憶させておき、周辺画像を表示する際に、当該記憶媒体または外部の記憶装置から、二次元の部品画像を読み出し、当該読み出した二次元の部品画像を周辺画像に重畳する。

【0041】

図５に戻り、周辺画像生成部４０１は、部品画像を重畳した周辺画像を、表示制御部１４ｄを介して、表示装置８に表示させる（ステップＳ５０５）。図７は、第１の実施形態にかかる車両において表示される周辺画像の一例を示す図である。図７に示すように、本実施形態では、周辺画像生成部４０１は、周辺画像７０１が含む黒領域７０２において、車室２ａ内の部品および車両１のタイヤが存在する位置に対して、部品画像６０１を重畳する。そして、周辺画像生成部４０１は、部品画像６０１が重畳された周辺画像７０１を、表示装置８に表示させる。その際、周辺画像生成部４０１は、図７に示すように、周辺画像７０１に加えて、車両１の上方から当該車両１の周囲を見た俯瞰画像７０３を表示装置８に表示させても良い。

【0042】

このように、第１の実施形態にかかる車両１によれば、仮想視点から車室２ａを介して車両１の外部の注視点を見た三次元の画像を表示した場合、当該三次元の画像が、車両１の周囲のうちどの位置の三次元の画像であるかを容易に特定することができる。

【0043】

（第２の実施形態）
本実施形態は、車両のフレームの三次元の輪郭を含む周辺画像を生成する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

【0044】

図８および図９は、第２の実施形態にかかる車両において表示される周辺画像の一例を示す図である。本実施形態では、周辺画像生成部４０１は、図８に示すように、車両１のフレームの三次元の輪郭８０１を含む周辺画像８０２を生成する。これにより、車両１のフレームの三次元の輪郭８０１からも、車両１の周囲のうちどの位置の周辺画像であるかを特定できるので、車両１の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。

【0045】

また、本実施形態では、周辺画像生成部４０１は、図８に示すように、注視点がシームレスに移動している場合、車両１のタイヤの三次元の画像である三次元タイヤ画像８０３を、周辺画像８０２において、車両１のタイヤが存在する位置に含める。これにより、車両１のタイヤの三次元タイヤ画像８０３からも、車両１の周囲のうちどの位置の周辺画像であるかを特定できるので、車両１の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。その際、周辺画像生成部４０１は、図８に示すように、仮想視点から注視点を見た場合の三次元タイヤ画像８０３を周辺画像８０２に含めるものとする。

【0046】

その後、周辺画像生成部４０１は、注視点の移動の停止が指示された場合、図９に示すように、三次元タイヤ画像８０３の表示を終了する。これにより、注視点の移動を停止した場合に、周囲画像のうち三次元タイヤ画像８０３によって死角になる領域を減らすことができる。本実施形態では、周辺画像生成部４０１は、図８に示すように、周辺画像８０２と共に、注視点のシームレスな移動の停止を指示するための一時停止ボタン８０４を、表示装置８に表示する。そして、周辺画像生成部４０１は、操作入力部１０によって、一時停止ボタン８０４がタッチ操作されたことを検出した場合に、注視点のシームレスな移動の停止が指示されたと判断して、三次元タイヤ画像８０３の表示を終了する。本実施形態では、周辺画像生成部４０１は、一時停止ボタン８０４がタッチ操作されたことを検出した場合に、注視点のシームレスな移動を停止しかつ三次元タイヤ画像８０３の表示を終了させているが、これに限定するものではなく、例えば、表示装置８の画面の予め設定された領域に対するタッチ操作が検出された場合に、注視点のシームレスな移動を停止しかつ三次元タイヤ画像８０３の表示を終了させても良い。

【0047】

その際、周辺画像生成部４０１は、注視点のシームレスな移動の停止が指示されたと同時に、三次元タイヤ画像８０３の表示を終了するのではなく、注視点の移動の停止が指示されてから所定時間（例えば、数秒）かけて、三次元タイヤ画像８０３の透過度を上げた後、当該三次元タイヤ画像８０３を非表示の状態（すなわち、三次元タイヤ画像８０３の表示を終了した状態）としても良い。これにより、注視点の移動の停止と同時に、三次元タイヤ画像８０３の表示が終了して、車両１の周囲のうちどの位置の周辺画像であるかを特定し難くなることを防止できる。

【0048】

このように、第２の実施形態にかかる車両１によれば、車両１のフレームの三次元の輪郭８０１からも、車両１の周囲のうちどの位置の周辺画像であるかを特定できるので、車両１の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。

【0049】

（第３の実施形態）
本実施形態は、車両１の前方を表すトレッドパターンを含むタイヤ画像を含む部品画像を黒領域に重畳する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。

【0050】

本実施形態では、周辺画像生成部４０１は、車両１の前方を識別可能とするトレッドパターンを含むタイヤ画像を生成する。図１０は、第３の実施形態にかかる車両において表示される周辺画像の一例を示す図である。本実施形態では、周辺画像生成部４０１は、図１０に示すように、車両１の前方を示すトレッドパターンを含むタイヤ画像１００２を生成する。そして、周辺画像生成部４０１は、当該生成したタイヤ画像１００２を、周辺画像１００１のうち黒領域７０２に重畳する。

【0051】

このように、第３の実施形態にかかる車両１によれば、タイヤ画像に含まれるトレッドパターンからも、車両１の周囲のうちどの位置の周辺画像であるかを特定できるので、車両１の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。

【符号の説明】

【0052】

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、１５…撮像部、４０１…周辺画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2021-11-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮像部によって車両の周囲を撮像して得られる画像に基づいて、仮想視点から前記車両の車室を介して当該車両の外部の注視点を見た三次元の画像であり、前記撮像部の撮像範囲外の領域に対応する死角画像を含み、かつ当該死角画像において、前記車両のタイヤが存在する位置に対して、当該タイヤの三次元の画像でありかつ前記仮想視点から前記注視点を見た三次元タイヤ画像を二次元の面に投影したタイヤ画像を重畳した第１画像を生成する生成部と、
前記生成部により生成した前記第１画像を表示する表示部と、
を備える周辺監視装置。

【請求項2】

前記生成部は、前記車両のフレームの三次元の輪郭を含む前記第１画像を生成する請求項１に記載の周辺監視装置。

【請求項3】

前記生成部は、前記注視点をシームレスに移動させ、前記注視点の移動に応じて前記第１画像を生成し直し、前記注視点がシームレスに移動されている場合、前記三次元タイヤ画像を前記第１画像に含める請求項１または２に記載の周辺監視装置。

【請求項4】

前記生成部は、前記注視点の移動の停止が指示された場合、前記三次元タイヤ画像の表示を終了する請求項３に記載の周辺監視装置。

【請求項5】

前記生成部は、前記注視点の移動の停止が指示された場合、前記注視点の移動の停止が指示されてから所定時間かけて、前記三次元タイヤ画像の透過度を上げた後、当該三次元タイヤ画像の表示を終了する請求項４に記載の周辺監視装置。

【請求項6】

前記生成部は、前記タイヤ画像に対して、前記車両の前方を表すトレッドパターンを重畳する請求項１から５のいずれか一に記載の周辺監視装置。

【請求項7】

前記第１画像は、前記死角画像において、前記車両の車室内の部品が存在する位置に対して、当該部品の二次元の画像を重畳した画像である請求項１から６のいずれか一に記載の周辺監視装置。