(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023066483
(43)【公開日】2023-05-16
(54)【発明の名称】後方画像表示装置、及び後方画像表示方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230509BHJP
B60R 1/26 20220101ALI20230509BHJP
G09G 5/00 20060101ALI20230509BHJP
G09G 5/36 20060101ALI20230509BHJP
G09G 5/377 20060101ALI20230509BHJP
G09G 5/14 20060101ALI20230509BHJP
B60R 1/20 20220101ALI20230509BHJP
【FI】
H04N7/18 J
B60R1/26
G09G5/00 550C
G09G5/36 520P
G09G5/36 520L
G09G5/00 530M
G09G5/00 510A
G09G5/36 520M
G09G5/14 C
G09G5/14 A
B60R1/20 100
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2021177105
(22)【出願日】2021-10-29
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】青木 廣志
【テーマコード(参考)】
5C054
5C182
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FE14
5C054FE18
5C054HA30
5C182AA02
5C182AA03
5C182AB25
5C182AC03
5C182BA01
5C182BA03
5C182BA14
5C182BA29
5C182CB44
5C182CB52
5C182CB54
5C182CC02
5C182CC03
5C182DA02
(57)【要約】
【課題】車両の後方をどのような車両が走行しているのかを容易に視認する。
【解決手段】後方画像表示装置1は、車両V1の後方をカメラ21によって撮影して撮影画像PAを生成する撮像部111と、撮影画像PAの一部の領域から画像を切り出して、第1後方画像P1を生成する第1生成部112と、車両V1の傾斜角度ANを検出する傾斜検出部113と、傾斜角度ANに応じて、撮影画像PAの他の一部の領域から画像を切り出して、第1後方画像P1と異なる第2後方画像P2を生成する第2生成部と、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示する表示制御部116と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両の後方をカメラによって撮影して撮影画像を生成する撮像部と、
前記撮影画像の一部の領域から画像を切り出して、第1後方画像を生成する第1生成部と、
前記車両の傾斜角度を検出する傾斜検出部と、
前記傾斜角度に応じて、前記撮影画像の他の一部の領域から画像を切り出して、前記第1後方画像と異なる第2後方画像を生成する第2生成部と、
前記第1後方画像と、前記第2後方画像と、をディスプレイに表示する表示制御部と、
を備える、後方画像表示装置。
【請求項2】
前記車両と前記車両の後方を走行する他の車両との間の距離を検出する距離検出部、を備え、
前記距離が閾値以下の場合には、前記表示制御部は、前記第2後方画像を前記ディスプレイに表示しない、
請求項1に記載の後方画像表示装置。
【請求項3】
前記表示制御部は、
前記ディスプレイの表示領域のうちの第1領域に表示するメイン画像と、前記表示領域のうちの第1領域よりも狭い第2領域に表示するサブ画像とを表示し、
前記第1後方画像及び前記第2後方画像の一方を前記メイン画像として表示し、
前記第1後方画像及び前記第2後方画像の他方を前記サブ画像として表示する、
請求項1又は請求項2に記載の後方画像表示装置。
【請求項4】
前記表示制御部は、
前記メイン画像を前記ディスプレイの表示領域の全体に表示し、
前記メイン画像において車両の画像を含まない領域を、前記第2領域に設定し、
前記サブ画像を前記第2領域に表示する、
請求項3に記載の後方画像表示装置。
【請求項5】
車両の後方をカメラによって撮影して撮影画像を生成する撮影ステップと、
前記撮影画像の一部の領域から画像を切り出して、第1後方画像を生成する第1生成ステップと、
前記車両の傾斜角度を検出する傾斜検出ステップと、
前記傾斜角度に応じて、前記撮影画像の他の一部の領域から画像を切り出して、前記第1後方画像と異なる第2後方画像を生成する第2生成ステップと、
前記第1後方画像と、前記第2後方画像と、をディスプレイに表示する表示制御ステップと、
を含む、後方画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、後方画像表示装置、及び後方画像表示方法に関する。
【背景技術】
【0002】
従来、車両の後方の画像を表示する技術が開示されている。
特許文献1に記載の車両後方表示装置は、車両後方を撮像するカメラと、カメラによって撮像された車両後方の画像を表示する表示処理部と、車両の前後方向の傾斜変化を検出する傾斜検出部と、傾斜変化が検出されてから所定範囲を走行中の間、表示処理部による表示範囲に対応する撮像範囲を上下方向に切り替え、その後傾斜変化がなくなったときに撮像範囲を元に戻す撮像範囲切替部と、を備えている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、車両の前後方向の傾斜の変化に応じて撮像範囲が切り替えられるため、車両の後方をどのような車両が走行しているのかを視認困難な場合があった。
本発明は、車両の後方をどのような車両が走行しているのかを容易に視認することが可能な後方画像表示装置、及び後方画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために本発明の後方画像表示装置は、車両の後方をカメラによって撮影して撮影画像を生成する撮像部と、前記撮影画像の一部の領域から画像を切り出して、第1後方画像を生成する第1生成部と、前記車両の傾斜角度を検出する傾斜検出部と、前記傾斜角度に応じて、前記撮影画像の他の一部の領域から画像を切り出して、前記第1後方画像と異なる第2後方画像を生成する第2生成部と、前記第1後方画像と、前記第2後方画像と、をディスプレイに表示する表示制御部と、を備える。
【0006】
上記目的を達成するために本発明の後方画像表示方法は、車両の後方をカメラによって撮影して撮影画像を生成する撮影ステップと、前記撮影画像の一部の領域から画像を切り出して、第1後方画像を生成する第1生成ステップと、前記車両の傾斜角度を検出する傾斜検出ステップと、前記傾斜角度に応じて、前記撮影画像の他の一部の領域から画像を切り出して、前記第1後方画像と異なる第2後方画像を生成する第2生成ステップと、前記第1後方画像と、前記第2後方画像と、をディスプレイに表示する表示制御ステップと、を含む。
【発明の効果】
【0007】
本発明によれば、撮影画像の一部の領域から画像を切り出して生成された第1後方画像と、撮影画像の他の一部の領域から画像を切り出して生成された第2後方画像と、をディスプレイに表示するため、車両の後方をどのような車両が走行しているのかを容易に視認することができる。
【図面の簡単な説明】
【0008】
【
図1】後方画像表示システム、及び後方画像表示装置の構成の一例を示す図である。
【
図2】基準後方画像、上後方画像、及び下後方画像の一例を示す図である。
【
図3】第1状態における表示画像の一例を示す図である。
【
図4】第2状態における表示画像の一例を示す図である。
【
図5】第3状態における表示画像の一例を示す図である。
【
図6】第4状態における表示画像の一例を示す図である。
【
図7】後方画像表示装置の処理の一例を示すフローチャートである。
【
図8】後方画像表示装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態について説明する。
まず、
図1を参照して、後方画像表示システム100、及び後方画像表示装置1の構成について説明する。
図1は、後方画像表示システム100、及び後方画像表示装置1の構成の一例を示す図である。
図1に示すように、後方画像表示システム100は、後方画像表示装置1と、カメラ21と、傾斜センサ22と、測距センサ23と、操作部24と、表示部25と、を備える。また、後方画像表示システム100は、車両V1に搭載される。
車両V1については、
図2を参照して説明する。
【0010】
カメラ21は、後方画像表示装置1の指示に従って、車両V1の後方を撮影し、撮影画像PAを生成する。カメラ21は、CCD(Charge-Coupled Device)、CMOS(Complementary Metal-Oxide-Semiconductor)等のイメージセンサと、イメージセンサから撮影画像PAを生成するデータ処理回路と、を備える。
カメラ21の撮影画像PAに対応する撮像範囲は、ディスプレイ251に表示する後方画像に対応する撮像範囲よりも広い。後方画像は、例えば、第1後方画像P1である。換言すれば、撮影画像PAに対応する撮像範囲を示す撮影画角AVAは、第1後方画像P1の撮像範囲を示す基準画角AVTよりも大きい。
第1後方画像P1、撮影画角AVA、及び基準画角AVTについては、
図2を参照して説明する。
【0011】
傾斜センサ22は、車両V1の傾斜角度ANを検出する。傾斜角度ANは、車両V1の前後方向、又は、進行方向D1と、水平方向DHとのなす角である。傾斜センサ22は、例えば、加速度センサ、ジャイロセンサ等のセンサと、センサから傾斜角度ANを生成するデータ処理回路と、を備える。
進行方向D1、水平方向DH及び傾斜角度ANについては、
図2を参照して説明する。
【0012】
測距センサ23は、車両V1に、例えば、LiDAR(Light Detection and Ranging)を備え、電磁波を用いて車両V1の後方を走行する他の車両V2までの距離LDを検出する。
本実施形態では、測距センサ23がLiDARである場合について説明するが、これに限定されない。測距センサ23が、例えば、レーダーやソナーセンサーでもよい。
【0013】
操作部24は、キー、スイッチ等を備え、車両V1に乗車したユーザーの操作を受け付ける。ユーザーは、例えば、運転者である。操作部24は、受け付けた操作に対応した操作信号を後方画像表示装置1に出力する。操作部24が受け付ける操作には、例えば、第1後方画像P1をメイン画像PMとしてディスプレイ251に表示する操作、第2後方画像P2をメイン画像PMとしてディスプレイ251に表示する操作等が含まれる。
第2後方画像P2、及びメイン画像PMについては、
図2を参照して説明する。
【0014】
表示部25は、ディスプレイ251を備え、種々の画像をディスプレイ251に表示する。
ディスプレイ251には、液晶ディスプレイや有機ELディスプレイ等が用いられる。表示部25は、第1後方画像P1、第2後方画像P2等をディスプレイ251に表示させる。
【0015】
後方画像表示装置1は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)等のプロセッサ11と、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ12と、を備えるコンピュータである。後方画像表示装置1は、これらの装置の他に、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ装置や、センサ類や周辺機器等を接続するためのインターフェース回路、車載ネットワークを介して他の車載装置と通信する車載ネットワーク通信回路等を備える。後方画像表示装置1は、メモリ12が記憶する制御プログラム121を、プロセッサ11が実行することで各種の機能的構成を実現する。
後方画像表示装置1は、例えば、ECU(Electronic Control Unit)で構成される。
【0016】
本実施形態では、後方画像表示装置1がECUで構成される場合について説明するが、これに限定されない。後方画像表示装置1がプロセッサ11とメモリ12とを備えるコンピュータであればよい。例えば、後方画像表示装置1が、パーソナルコンピュータで構成されてもよいし、タブレット端末で構成されてもよい。
【0017】
後方画像表示装置1は、撮像部111、第1生成部112、傾斜検出部113、第2生成部114、距離検出部115、表示制御部116、画像記憶部122、及び傾斜記憶部123を備える。具体的には、プロセッサ11が、メモリ12が記憶する制御プログラム121を実行することによって、撮像部111、第1生成部112、傾斜検出部113、第2生成部114、距離検出部115、及び表示制御部116として機能する。また、プロセッサ11が、メモリ12が記憶する制御プログラム121を実行することによって、メモリ12を、画像記憶部122、及び傾斜記憶部123として機能させる。
【0018】
画像記憶部122は、撮影画像PAを記憶する。撮影画像PAは、撮像部111によってカメラ21から取得され、画像記憶部122に記憶される。撮影画像PAは、第1生成部112及び第2生成部114によって読み出される。
【0019】
傾斜記憶部123は、傾斜角度ANを記憶する。傾斜角度ANは、傾斜検出部113によって傾斜センサ22から取得され、傾斜記憶部123に記憶される。傾斜角度ANは、第2生成部114によって読み出される。
【0020】
撮像部111は、車両V1の後方をカメラ21によって撮影して撮影画像PAを生成する。具体的には、撮像部111は、カメラ21によって撮影された撮影画像PAを取得する。また、撮像部111は、撮影画像PAを画像記憶部122に記憶させる。
【0021】
第1生成部112は、撮影画像PAの一部の領域から画像を切り出して、第1後方画像P1を生成する。第1後方画像P1は、例えば、基準後方画像PTである。基準後方画像PTは、撮影画像PAの中央部の領域から切り出された画像である。
基準後方画像PTについては、
図2を参照して更に説明する。
【0022】
傾斜検出部113は、車両V1の傾斜角度ANを検出する。具体的には、傾斜検出部113は、傾斜センサ22によって検出された傾斜角度ANを取得する。傾斜検出部113は、傾斜角度ANを傾斜記憶部123に記憶させる。
【0023】
第2生成部114は、傾斜角度ANに応じて、撮影画像PAの他の一部の領域から画像を切り出して、第1後方画像P1と異なる第2後方画像P2を生成する。第2後方画像P2は、上後方画像PUと下後方画像PDとを含む。上後方画像PUは、撮影画像PAのうちの、車両V1の上後方の画像である。下後方画像PDは、撮影画像PAのうちの、車両V1の下後方の画像である。
上後方画像PU、及び下後方画像PDについては、
図2を参照して更に説明する。
【0024】
具体的には、第2生成部114は、表示制御部116が判定した状態に応じて、第2後方画像P2として、上後方画像PU又は下後方画像PDを生成する。表示制御部116が判定した状態とは、第1状態ST1~第4状態ST4である。
第1状態ST1~第4状態ST4と、第2生成部114が生成する画像との関係については、
図2~
図6を参照して説明する。
【0025】
距離検出部115は、車両V1と車両V1の後方を走行する他の車両V2との間の距離LDを検出する。具体的には、距離検出部115は、測距センサ23から距離LDを取得する。
【0026】
表示制御部116は、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示する。
具体的には、表示制御部116は、ディスプレイ251の表示領域ARのうちの第1領域AR1に表示するメイン画像PMと、表示領域ARのうちの第1領域AR1よりも狭い第2領域AR2に表示するサブ画像PSとを表示する。また、表示制御部116は、第1後方画像P1及び第2後方画像P2の一方をメイン画像PMとして表示し、第1後方画像P1及び第2後方画像P2の他方をサブ画像PSとして表示する。
第1領域AR1及び第2領域AR2については、
図3~
図6を参照して更に説明する。
【0027】
例えば、表示制御部116は、ディスプレイ251の表示領域ARのうちの第1領域AR1にメイン画像PMとして第1後方画像P1を表示し、ディスプレイ251の表示領域ARのうちの第2領域AR2にサブ画像PSとして第2後方画像P2を表示する。また、例えば、表示制御部116は、ディスプレイ251の表示領域ARのうちの第1領域AR1にメイン画像PMとして第2後方画像P2を表示し、ディスプレイ251の表示領域ARのうちの第2領域AR2にサブ画像PSとして第1後方画像P1を表示する。
【0028】
また、例えば、表示制御部116は、メイン画像PMをディスプレイ251の表示領域ARの全体に表示する。メイン画像PMにおいて車両の画像を含まない領域を、第2領域AR2に決定する。そして、サブ画像PSを第2領域AR2に表示する。
【0029】
また、表示制御部116は、例えば、傾斜角度ANの経時的な変化に応じて、第1後方画像P1及び第2後方画像P2のどちらをメイン画像PMとして第1領域AR1に表示するかを決定する。
表示制御部116は、例えば、傾斜角度ANの経時的な変化に応じて、車両V1が第1状態ST1であるか、第2状態ST2であるか、第3状態ST3であるか、第4状態ST4であるかを判定する。
第1状態ST1は、車両V1が略水平な第1道路R1から上り坂RUに進入した状態である。第2状態ST2は、上り坂RUから略水平な第2道路R2に進入した状態である。第3状態ST3は、略水平な第2道路R2から下り坂RDに進入した状態である。第4状態ST4は、下り坂RDから略水平な第3道路R3に進入した状態である。
第1状態ST1~第4状態ST4については、
図3~
図6を参照して更に説明する。
【0030】
また、表示制御部116は、距離検出部115が検出した距離LDが閾値LS以下の場合には、第2後方画像P2をディスプレイ251に表示しない、閾値LSは、例えば、10mである。この場合には、表示制御部116は、第1後方画像P1のみをディスプレイ251の表示領域ARの全体に表示する。
なお、閾値LSは、車両V1の走行速度に応じて設定してもよい。例えば、車両V1の走行速度が速い程、閾値LSを長くすることが好ましい。
また、例えば、閾値LSは、傾斜角度ANの経時的な変化に応じて、設定してもよい。傾斜角度ANの経時的な変化が大きい程、閾値LSを短くすることが好ましい。
【0031】
本実施形態では、表示制御部116が、傾斜角度ANの経時的な変化に応じて、第1後方画像P1及び第2後方画像P2のどちらをメイン画像PMとして第1領域AR1に表示するかを決定する場合について説明するが、これに限定されない。表示制御部116が、例えば、ユーザーの操作部24に対する操作に応じて、第1後方画像P1及び第2後方画像P2のどちらをメイン画像PMとして第1領域AR1に表示するかを決定してもよい。
【0032】
本実施形態では、表示制御部116は、ディスプレイ251の表示領域ARのうちの第1領域AR1に表示するメイン画像PMと、表示領域ARのうちの第1領域AR1よりも狭い第2領域AR2に表示するサブ画像PSとを表示する場合について説明するが、これに限定されない。表示制御部116は、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示すればよい。
表示制御部116は、例えば、ディスプレイ251の表示領域ARを2等分し、一方の表示領域に第1後方画像P1を表示し、他方の表示領域に第2後方画像P2を表示してもよい。表示制御部116は、例えば、ディスプレイ251の表示領域ARを右表示領域と左表示領域とに2等分し、右表示領域に第1後方画像P1を表示し、左表示領域に第2後方画像P2を表示してもよい。
【0033】
次に、
図2を参照して、基準後方画像PT、上後方画像PU、及び下後方画像PDについて説明する。
図2は、基準後方画像PT、上後方画像PU、及び下後方画像PDの一例を示す図である。
図2には、車両V1の走行する道路の傾斜角度ANの変化の一例を示す側面
図301と、カメラ21によって撮影された撮影画像PAの一例を示す画像
図400と、を記載している。
【0034】
側面
図301には、進行方向D1に走行する車両V1と、車両V1の後方を進行方向D2に走行する車両V2と、が記載されている。車両V1は、略水平な第1道路R1から上り坂RUに進入している。すなわち、側面
図301は、車両V1が第1状態ST1であることを示す。上り坂RUは、略水平な第1道路R1と、略水平な第2道路R2との間とを接続するように敷設される。
車両V1の傾斜角度ANは、車両V1の進行方向D1と水平方向DHとのなす角である。傾斜角度ANは、傾斜センサ22によって検出される。
距離LDは、車両V1と車両V2との間の距離である。距離LDは、測距センサ23によって検出される。
車両V2は、「他の車両」の一例に対応する。
【0035】
車両V1の後部には、カメラ21が配置される。破線で示す撮影画角AVAは、カメラ21の上下方向の撮像範囲を示す。撮影画角AVAは、例えば、90度である。
一点鎖線で示す基準画角AVTは、基準後方画像PTに対応するカメラ21の上下方向の撮像範囲を示す。破線で示す上画角AVUは、上後方画像PUに対応するカメラ21の上下方向の撮像範囲を示す。破線で示す下画角AVDは、下後方画像PDに対応するカメラ21の上下方向の撮像範囲を示す。基準画角AVT、上画角AVU、及び下画角AVDの各々は、例えば、45度である。
【0036】
画像
図400には、撮影画像PAが記載される。撮影画像PAは、車両画像PV2と、車両画像PV3とを含む。車両画像PV2は、車両V2の画像である。車両画像PV3は、車両V3の画像である。車両V3は、車両V1及び車両V2が走行する車線の対向車線を走行する。
【0037】
画像
図400には、実線の矩形状の撮影画角AVAと、一点鎖線の矩形状の基準画角AVTと、破線の矩形状の上画角AVUと、破線の矩形状の下画角AVDとが記載される。
上画角AVUは、撮影画角AVAの上部に配置される。基準画角AVTは、撮影画角AVAの上下方向の中央部に配置される。下画角AVDは、撮影画角AVAの下部に配置される。また、上画角AVU、基準画角AVT、及び下画角AVDの各々は、撮影画角AVAの左右方向の中央部に配置される。
【0038】
カメラ21の撮影画像PAは、画像
図400に示す撮影画角AVA内の画像である。画像
図400では、基準画角AVTは、基準後方画像PTの撮像範囲を示し、上画角AVUは、上後方画像PUの撮像範囲を示し、下画角AVDは、下後方画像PDの撮像範囲を示す。
第1生成部112は、撮影画像PAにおいて基準画角AVTに対応する上下方向の中央部の領域から基準後方画像PTを切り出して、第1後方画像P1として基準後方画像PTを生成する。
第2生成部114は、撮影画像PAにおいて上画角AVUに対応する上部の領域から上後方画像PUを切り出して、第2後方画像P2として上後方画像PUを生成する。また、第2生成部114は、撮影画像PAにおいて下画角AVDに対応する下部の領域から下後方画像PDを切り出して、第2後方画像P2として下後方画像PDを生成する。
撮影画像PAにおいて基準画角AVTに対応する中央部の領域は、「一部の領域」の一例に対応する。
撮影画像PAにおいて、上画角AVUに対応する上部の領域、及び下画角AVDに対応する下部の領域の各々は、「他の一部の領域」の一例に対応する。
【0039】
次に、
図3~
図6を参照して、ディスプレイ251に表示される表示画像について説明する。本実施形態では、ディスプレイ251として、横長のリアビューディスプレイを使用する場合について説明する。
【0040】
図3は、第1状態ST1における表示画像の一例を示す図である。
図3の上段には、従来の側面
図310と画像
図510との一例を示す。
側面
図310に示すように、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTが切り出されて、基準後方画像PTが生成される。
また、画像
図510に示すように、ディスプレイ251の表示領域ARの全体に、基準後方画像PTが表示される。基準後方画像PTには、車両画像PV2と、車両画像PV3とが含まれる。マークMVは、車両画像PV2を示す。画像
図510に示すように、ディスプレイ251には、車両画像PV2の下部が表示される。
【0041】
図3の下段には、本実施形態の側面
図311と画像
図511との一例を示す。
側面
図311に示すように、第1生成部112は、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTを切り出して、第1後方画像P1として基準後方画像PTを生成する。第2生成部114は、カメラ21の撮影画像PAに対応する撮像範囲のうち、上画角AVUに対応する上部の領域から上後方画像PUを切り出して、第2後方画像P2として上後方画像PUを生成する。
【0042】
また、画像
図511に示すように、表示制御部116は、ディスプレイ251の表示領域ARに、第1領域AR1と、第2領域AR2とを設定する。本実施形態では、第2領域AR2は、表示領域ARの右上隅に配置される。第1領域AR1は、第2領域AR2よりも広く、表示領域ARのうちの、第2領域AR2以外の領域である。
表示制御部116は、第1領域AR1にメイン画像PMとして上後方画像PUを表示し、第2領域AR2にサブ画像PSとして基準後方画像PTを表示する。
第2領域AR2は、例えば、メイン画像PMとして上後方画像PUをディスプレイ251の表示領域ARの全体に表示した場合に、上後方画像PUにおいて、車両の画像を含まない領域に設定される。
【0043】
画像
図511の第1領域AR1に表示される上後方画像PUには、車両画像PV2の全体が表示される。また、画像
図511の第1領域AR1には、上方向撮影マークMUが表示される。上方向撮影マークMUは、第1領域AR1に上後方画像PUが表示されることを示す。また、第2画像表示マークMP2は、第1領域AR1の周囲に配置される太線である。第2画像表示マークMP2は、第1領域AR1に第2後方画像P2が表示されることを示す。
【0044】
画像
図511に示すように、第1領域AR1に表示される上後方画像PUには、車両画像PV2の全体が表示されるため、ユーザーは、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0045】
図4は、第2状態ST2における表示画像の一例を示す図である。
図4の上段には、従来の側面
図320と画像
図520との一例を示す。
側面
図320には、車両V1と、車両V1の後方を進行方向D2に走行する車両V2と、が記載されている。車両V1は、上り坂RUから略水平な第2道路R2に進入している。すなわち、側面
図320は、車両V1が第2状態ST2であることを示す。
【0046】
側面
図320に示すように、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTが切り出されて、基準後方画像PTが生成される。
また、画像
図520に示すように、ディスプレイ251の表示領域ARの全体に、基準後方画像PTが表示される。基準後方画像PTには、車両画像PV2と、車両画像PV3とが含まれる。マークMVは、車両画像PV2を示す。画像
図520に示すように、ディスプレイ251には、車両画像PV2の上部が表示される。
【0047】
図4の下段には、本実施形態の側面
図321と画像
図521との一例を示す。
側面
図321に示すように、第1生成部112は、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTを切り出して、第1後方画像P1として基準後方画像PTを生成する。第2生成部114は、カメラ21の撮影画像PAに対応する撮像範囲のうち、下画角AVDに対応する下部の領域から下後方画像PDを切り出して、第2後方画像P2として下後方画像PDを生成する。
【0048】
また、画像
図521に示すように、表示制御部116は、ディスプレイ251の表示領域ARに、第1領域AR1と、第2領域AR2とを設定する。
表示制御部116は、第1領域AR1にメイン画像PMとして基準後方画像PTを表示し、第2領域AR2にサブ画像PSとして下後方画像PDを表示する。
第2領域AR2は、例えば、メイン画像PMとして基準後方画像PTをディスプレイ251の表示領域ARの全体に表示した場合に、基準後方画像PTにおいて、車両の画像を含まない領域に設定される。
【0049】
画像
図521の第2領域AR2に表示される下後方画像PDには、車両画像PV2の全体が表示される。また、画像
図521の第2領域AR2には、下方向撮影マークMDが表示される。下方向撮影マークMDは、第2領域AR2に下後方画像PDが表示されることを示す。また、第2画像表示マークMP2は、第2領域AR2の周囲に配置される太線である。第2画像表示マークMP2は、第2領域AR2に第2後方画像P2が表示されることを示す。
【0050】
画像
図521に示すように、第2領域AR2に表示される下後方画像PDには、車両画像PV2の全体が表示されるため、ユーザーは、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0051】
図5は、第3状態ST3における表示画像の一例を示す図である。
図5の上段には、従来の側面
図330と画像
図530との一例を示す。
側面
図330には、車両V1と、車両V1の後方を進行方向D2に走行する車両V2と、が記載されている。車両V1は、略水平な第2道路R2から下り坂RDに進入している。すなわち、側面
図330は、車両V1が第3状態ST3であることを示す。
【0052】
側面
図330に示すように、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTが切り出されて、基準後方画像PTが生成される。
また、画像
図530に示すように、ディスプレイ251には、基準後方画像PTが表示される。基準後方画像PTには、車両画像PV2と、車両画像PV3とが含まれる。マークMVは、車両画像PV2を示す。画像
図530に示すように、ディスプレイ251には、車両画像PV2の上部が表示される。
【0053】
図5の下段には、本実施形態の側面
図331と画像
図531との一例を示す。
側面
図331に示すように、第1生成部112は、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTを切り出して、第1後方画像P1として基準後方画像PTを生成する。第2生成部114は、カメラ21の撮影画像PAに対応する撮像範囲のうち、下画角AVDに対応する下部の領域から下後方画像PDを切り出して、第2後方画像P2として下後方画像PDを生成する。
【0054】
また、画像
図531に示すように、表示制御部116は、ディスプレイ251の表示領域ARに、第1領域AR1と、第2領域AR2とを設定する。
表示制御部116は、第1領域AR1にメイン画像PMとして基準後方画像PTを表示し、第2領域AR2にサブ画像PSとして下後方画像PDを表示する。
第2領域AR2は、例えば、メイン画像PMとして基準後方画像PTをディスプレイ251の表示領域ARの全体に表示した場合に、基準後方画像PTにおいて、車両の画像を含まない領域に設定される。
【0055】
画像
図531の第2領域AR2に表示される下後方画像PDには、車両画像PV2の全体が表示される。また、画像
図531の第2領域AR2には、下方向撮影マークMDが表示される。下方向撮影マークMDは、第2領域AR2に下後方画像PDが表示されることを示す。また、第2画像表示マークMP2は、第2領域AR2の周囲に配置される太線である。第2画像表示マークMP2は、第2領域AR2に第2後方画像P2が表示されることを示す。
【0056】
画像
図531に示すように、第2領域AR2に表示される下後方画像PDには、車両画像PV2の全体が表示されるため、ユーザーは、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0057】
図6は、第4状態ST4における表示画像の一例を示す図である。
図6の上段には、従来の側面
図340と画像
図540との一例を示す。
側面
図340には、車両V1と、車両V1の後方を進行方向D2に走行する車両V2と、が記載されている。車両V1は、下り坂RDから略水平な第3道路R3に進入している。すなわち、側面
図340は、車両V1が第4状態ST4であることを示す。
【0058】
側面
図340に示すように、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTが切り出されて、基準後方画像PTが生成される。
また、画像
図540に示すように、ディスプレイ251には、第1後方画像P1として基準後方画像PTが表示される。基準後方画像PTには、車両画像PV2と、車両画像PV3とが含まれる。マークMVは、車両画像PV2を示す。画像
図540に示すように、ディスプレイ251には、車両画像PV2の下部が表示される。
【0059】
図6の下段には、本実施形態の側面
図341と画像
図541との一例を示す。
側面
図341に示すように、第1生成部112は、カメラ21の撮影画像PAに対応する撮像範囲のうち、基準画角AVTに対応する中央部の領域から基準後方画像PTを切り出して、第1後方画像P1として基準後方画像PTを生成する。第2生成部114は、カメラ21の撮影画像PAに対応する撮像範囲のうち、上画角AVUに対応する上部の領域から上後方画像PUを切り出して、第2後方画像P2として上後方画像PUを生成する。
【0060】
また、画像
図541に示すように、表示制御部116は、ディスプレイ251の表示領域ARに、第1領域AR1と、第2領域AR2とを設定する。
表示制御部116は、第1領域AR1にメイン画像PMとして上後方画像PUを表示し、第2領域AR2にサブ画像PSとして基準後方画像PTを表示する。
第2領域AR2は、例えば、メイン画像PMとして上後方画像PUをディスプレイ251の表示領域ARの全体に表示した場合に、上後方画像PUにおいて、車両の画像を含まない領域に設定される。
【0061】
画像
図541の第1領域AR1に表示される上後方画像PUには、車両画像PV2の全体が表示される。また、画像
図541の第1領域AR1には、上方向撮影マークMUが表示される。上方向撮影マークMUは、第1領域AR1に上後方画像PUが表示されることを示す。また、第2画像表示マークMP2は、第1領域AR1の周囲に配置される太線である。第2画像表示マークMP2は、第1領域AR1に第2後方画像P2が表示されることを示す。
【0062】
画像
図541に示すように、第1領域AR1に表示される上後方画像PUには、車両画像PV2の全体が表示されるため、ユーザーは、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0063】
図3~
図6を参照して説明したように、ディスプレイ251に、第1後方画像P1と、第1後方画像P1と異なる第2後方画像P2が表示されるため、ユーザーは、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0064】
図3~
図6では、第2領域AR2がディスプレイ251の表示領域ARの右上隅に配置される場合について説明したが、これに限定されない。第2領域AR2は、メイン画像PMをディスプレイ251の表示領域ARの全体に表示した場合に、メイン画像PMにおいて、車両の画像を含まない領域であることが好ましい。この場合には、第2領域AR2にサブ画像PSを表示することによって、メイン画像PMにおける車両の画像がサブ画像PSによって隠されることがない。したがって、メイン画像PMの視認性を向上できる。
【0065】
次に、
図7及び
図8を参照して、後方画像表示装置1の処理について説明する。
図7及び
図8は、後方画像表示装置1の処理の一例を示すフローチャートである。
まず、
図7に示すように、ステップS101において、撮像部111は、車両V1の後方をカメラ21によって撮影して撮影画像PAを生成する。
次に、ステップS103において、第1生成部112は、撮影画像PAの一部の領域から画像を切り出して、第1後方画像P1を生成する。第1後方画像P1は、例えば、基準後方画像PTである。
次に、ステップS105において、傾斜検出部113は、車両V1の傾斜角度ANを検出する。
【0066】
次に、ステップS107において、距離検出部115は、車両V1と車両V1の後方を走行する他の車両V2との間の距離LDを検出する。
次に、ステップS109において、表示制御部116は、距離LDが閾値LSよりも大きいか否かを判定する。
距離LDが閾値LSよりも大きくないと表示制御部116が判定した場合(ステップS109;NO)には、処理がステップS111へ進む。
そして、ステップS111において、表示制御部116は、第1後方画像P1、すなわち、基準後方画像PTをディスプレイ251の表示領域ARの全体に表示する。その後、処理がステップS101へリターンされる。
距離LDが閾値LSよりも大きいと表示制御部116が判定した場合(ステップS109;YES)には、処理が
図8のステップS113へ進む。
【0067】
そして、
図8のステップS113において、表示制御部116は、傾斜角度ANの経時的な変化に応じて、車両V1が第1状態ST1であるか否かを判定する。第1状態ST1は、車両V1が略水平な第1道路R1から上り坂RUに進入した状態である。
車両V1が第1状態ST1ではないと表示制御部116が判定した場合(ステップS113;NO)には、処理がステップS121へ進む。車両V1が第1状態ST1であると表示制御部116が判定した場合(ステップS113;YES)には、処理がステップS115へ進む。
そして、ステップS115において、第2生成部114は、第2後方画像P2として、撮影画像PAから上後方画像PUを切出して、上後方画像PUを生成する。
次に、ステップS117において、表示制御部116は、第2後方画像P2をメイン画像PMに設定する。
次に、ステップS119において、表示制御部116は、第1後方画像P1をサブ画像PSとして、メイン画像PMと合成する。すなわち、表示制御部116は、第2後方画像P2である上後方画像PUをメイン画像PMとし、第1後方画像P1をサブ画像PSとして、メイン画像PMとサブ画像PSとを合成し、表示画像を生成する。そして、表示制御部116は、生成した表示画像をディスプレイ251に表示する。その後、処理が
図7のステップS101へリターンされる。
【0068】
ステップS113でNOの場合、すなわち、車両V1が第1状態ST1ではないと表示制御部116が判定した場合には、ステップS121において、表示制御部116は、傾斜角度ANの経時的な変化に応じて、車両V1が第2状態ST2であるか否かを判定する。第2状態ST2は、上り坂RUから略水平な第2道路R2に進入した状態である。
車両V1が第2状態ST2ではないと表示制御部116が判定した場合(ステップS121;NO)には、処理がステップS129へ進む。車両V1が第2状態ST2であると表示制御部116が判定した場合(ステップS121;YES)には、処理がステップS123へ進む。
そして、ステップS123において、第2生成部114は、第2後方画像P2として、撮影画像PAから下後方画像PDを切出して、下後方画像PDを生成する。
次に、ステップS125において、表示制御部116は、第1後方画像P1をメイン画像PMに設定する。
次に、ステップS127において、表示制御部116は、第2後方画像P2をサブ画像PSとして、メイン画像PMと合成する。すなわち、表示制御部116は、第1後方画像P1をメイン画像PMとし、第2後方画像P2である下後方画像PDをサブ画像PSとして、メイン画像PMとサブ画像PSとを合成し、表示画像を生成する。そして、表示制御部116は、生成した表示画像をディスプレイ251に表示する。その後、処理が
図7のステップS101へリターンされる。
【0069】
ステップS121でNOの場合、すなわち、車両V1が第2状態ST2ではないと表示制御部116が判定した場合には、ステップS129において、表示制御部116は、傾斜角度ANの経時的な変化に応じて、車両V1が第3状態ST3であるか否かを判定する。第3状態ST3は、略水平な第2道路R2から下り坂RDに進入した状態である。
車両V1が第3状態ST3ではないと表示制御部116が判定した場合(ステップS129;NO)には、処理がステップS137へ進む。車両V1が第3状態ST3であると表示制御部116が判定した場合(ステップS129;YES)には、処理がステップS131へ進む。
そして、ステップS131において、第2生成部114は、第2後方画像P2として、撮影画像PAから下後方画像PDを切出して、下後方画像PDを生成する。
次に、ステップS133において、表示制御部116は、第1後方画像P1をメイン画像PMに設定する。
次に、ステップS135において、表示制御部116は、第2後方画像P2をサブ画像PSとして、メイン画像PMと合成する。すなわち、表示制御部116は、第1後方画像P1をメイン画像PMとし、第2後方画像P2である下後方画像PDをサブ画像PSとして、メイン画像PMとサブ画像PSとを合成し、表示画像を生成する。そして、表示制御部116は、生成した表示画像をディスプレイ251に表示する。その後、処理が
図7のステップS101へリターンされる。
【0070】
ステップS129でNOの場合、すなわち、車両V1が第3状態ST3ではないと表示制御部116が判定した場合には、ステップS137において、表示制御部116は、傾斜角度ANの経時的な変化に応じて、車両V1が第4状態ST4であるか否かを判定する。第4状態ST4は、下り坂RDから略水平な第3道路R3に進入した状態である。
車両V1が第4状態ST4ではないと表示制御部116が判定した場合(ステップS137;NO)には、処理がステップS145に進む。
そして、ステップS145において、表示制御部116は、第1後方画像P1をディスプレイ251の表示領域ARの全体に表示する。その後、処理がステップS101へリターンされる。
車両V1が第4状態ST4であると表示制御部116が判定した場合(ステップS137;YES)には、処理がステップS139へ進む。
そして、ステップS139において、第2生成部114は、第2後方画像P2として、撮影画像PAから上後方画像PUを切出して、上後方画像PUを生成する。
次に、ステップS141において、表示制御部116は、第2後方画像P2をメイン画像PMに設定する。
次に、ステップS143において、表示制御部116は、第1後方画像P1をサブ画像PSとして、メイン画像PMと合成する。すなわち、表示制御部116は、第2後方画像P2である上後方画像PUをメイン画像PMとし、第1後方画像P1をサブ画像PSとして、メイン画像PMとサブ画像PSとを合成し、表示画像を生成する。そして、表示制御部116は、生成した表示画像をディスプレイ251に表示する。その後、処理が
図7のステップS101へリターンされる。
【0071】
ステップS101は、「撮影ステップ」の一例に対応する。ステップS103は、「第1生成ステップ」の一例に対応する。ステップS105は、「傾斜検出ステップ」の一例に対応する。
また、ステップS115、ステップS123、ステップS131、及びステップS139は、「第2生成ステップ」の一例に対応する。
また、ステップS119、ステップS127、ステップS135、及びステップS143は、「表示制御ステップ」の一例に対応する。
【0072】
図7及び
図8を参照して説明したように、表示制御部116は、例えば、傾斜角度ANの経時的な変化に応じて、車両V1が第1状態ST1、第2状態ST2、第3状態ST3、及び第4状態ST4のいずれかであるか否かを判定する。そして、第2生成部114は、表示制御部116が判定した状態に応じて、第2後方画像P2として、上後方画像PU又は下後方画像PDを生成する。表示制御部116は、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示する。
よって、表示制御部116が判定した状態に応じて、第2後方画像P2として、上後方画像PU又は下後方画像PDを生成するため、第2後方画像P2として、上後方画像PU又は下後方画像PDを適正に生成し、表示できる。したがって、車両V1の後方をどのような車両V2が走行しているのかを容易に視認できる。
【0073】
以上、
図1~
図8を参照して説明したように、本実施形態の後方画像表示装置1は、車両V1の後方をカメラ21によって撮影して撮影画像PAを生成する撮像部111と、撮影画像PAの一部の領域から画像を切り出して、第1後方画像P1を生成する第1生成部112と、車両V1の傾斜角度ANを検出する傾斜検出部113と、傾斜角度ANに応じて、撮影画像PAの他の一部の領域から画像を切り出して、第1後方画像P1と異なる第2後方画像P2を生成する第2生成部と、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示する表示制御部116と、を備える。
【0074】
すなわち、撮影画像PAの一部の領域から画像を切り出して、第1後方画像P1を生成し、傾斜角度ANに応じて、撮影画像PAの他の一部の領域から画像を切り出して、第1後方画像P1と異なる第2後方画像P2を生成する。そして、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示する。
したがって、第2後方画像P2を、傾斜角度ANに応じて、撮影画像PAの他の一部の領域から画像を切り出して生成するため、第2後方画像P2を撮影画像PAの適正な領域から切り出して生成できる。また、第1後方画像P1と第2後方画像P2とがディスプレイ251に表示されるため、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0075】
また、車両V1と車両V1の後方を走行する他の車両V2との間の距離LDを検出する距離検出部115、を備え、距離LDが閾値LS以下の場合には、表示制御部116は、第2後方画像P2をディスプレイ251に表示しない。
換言すれば、距離LDが閾値LS以下の場合には、第1後方画像P1のみをディスプレイ251の表示領域ARの全体に表示する。例えば、距離LDが閾値LS以下の場合には、第1後方画像P1に車両画像PV2が含まれるように、閾値LSが設定される。したがって、第1後方画像P1に車両画像PV2が含まれるため、第1後方画像P1のみをディスプレイ251の表示領域ARの全体に表示することによって、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0076】
また、表示制御部116は、ディスプレイ251の表示領域ARのうちの第1領域AR1に表示するメイン画像PMと、表示領域ARのうちの第1領域AR1よりも狭い第2領域AR2に表示するサブ画像PSとを表示し、第1後方画像P1及び第2後方画像P2の一方をメイン画像PMとして表示し、第1後方画像P1及び第2後方画像P2の他方をサブ画像PSとして表示する。
すなわち、第1後方画像P1及び第2後方画像P2の一方がメイン画像PMとして表示され、第1後方画像P1及び第2後方画像P2の他方がサブ画像PSとして表示される。したがって、メイン画像PM及びサブ画像PSを適正に決定することによって、車両V1の後方をどのような車両V2が走行しているのかを容易に視認することができる。
【0077】
また、表示制御部116は、メイン画像PMをディスプレイ251の表示領域ARの全体に表示し、メイン画像PMにおいて車両の画像を含まない領域を、第2領域AR2に設定し、サブ画像PSを第2領域に表示する。
したがって、メイン画像PMにおいて車両の画像を含まない領域が、第2領域AR2に設定されるため、第2領域AR2を適正に決定できる。
【0078】
また、本実施形態の後方画像表示方法は、車両V1の後方をカメラ21によって撮影して撮影画像PAを生成する撮影ステップと、撮影画像PAの一部の領域から画像を切り出して、第1後方画像P1を生成する第1生成ステップと、車両V1の傾斜角度ANを検出する傾斜検出ステップと、傾斜角度ANに応じて、撮影画像PAの他の一部の領域から画像を切り出して、第1後方画像P1と異なる第2後方画像P2を生成する第2生成ステップと、第1後方画像P1と、第2後方画像P2と、をディスプレイ251に表示する表示制御ステップと、を含む。
したがって、本実施形態の後方画像表示方法は、本実施形態の後方画像表示装置1と同様の作用効果を奏する。
【0079】
上述した本実施形態は、あくまでも本発明の一実施形態を例示したものであって、本発明の主旨を逸脱しない範囲で任意に変形、及び応用が可能である。
【0080】
例えば、
図1は、本発明の理解を容易にするために、構成要素を主な処理内容に応じて分類して示した図であり、構成要素は、処理内容に応じて、更に多くの構成要素に分類することもできる。また、1つの構成要素が更に多くの処理を実行するように分類することもできる。
また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【0081】
また、
図1において、後方画像表示装置1が、傾斜センサ22、操作部24及び表示部50の少なくとも1つを一体に備えてもよい。
【0082】
また、本実施形態では、表示制御部116は、例えば、傾斜角度ANの経時的な変化に応じて、車両V1が第1状態ST1~第4状態ST4のいずれかであるか否かを判定するが、これに限定されない。第2生成部114が、傾斜角度ANに応じて、上後方画像PU又は下後方画像PDを第2後方画像P2として生成すればよい。
【0083】
また、本発明の障害物表示方法を、コンピュータを用いて実現する場合には、このコンピュータに実行させる制御プログラム121を記録媒体、又はこの制御プログラム121を伝送する伝送媒体の態様で構成することも可能である。
記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD、CD-ROM(Compact Disk Read Only Memory)、DVD、Blu-ray(登録商標) Disc、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、後方画像表示装置1が備えるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。
また、制御プログラム121を、後方画像表示装置1とネットワークを介して通信可能に接続されたサーバ装置から後方画像表示装置1がダウンロードしてもよい。
【0084】
また、例えば、
図7及び
図8に示すフローチャートの処理単位は、後方画像表示装置1の処理の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。後方画像表示装置1の処理は、処理内容に応じて、更に多くの処理単位に分割してもよい。また、後方画像表示装置1の処理は、1つの処理単位が更に多くの処理を含むように分割してもよい。
【符号の説明】
【0085】
100 後方画像表示システム
1 後方画像表示装置
11 プロセッサ
111 撮像部
112 第1生成部
113 傾斜検出部
114 第2生成部
115 距離検出部
116 表示制御部
12 メモリ
121 制御プログラム
122 画像記憶部
123 傾斜記憶部
21 カメラ
22 傾斜センサ
23 測距センサ
24 操作部
25 表示部
251 ディスプレイ
AN 傾斜角度
AR1 第1領域
AR2 第2領域
AVA 撮影画角
MD 下方向撮影マーク
MU 上方向撮影マーク
P1 第1後方画像
P2 第2後方画像
PA 撮影画像
PM メイン画像
PS サブ画像
V1、V2、V3 車両